[論文レビュー] Artificial Intelligence Strategies for National Security and Safety Standards

Erik Blasch, James Sung+3 more|arXiv (Cornell University)|Nov 3, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用数 11

ひとこと要約

本論文は、国家安全保障と安全基準——特にインテリジェンス・コミュニティ・ディレクティブ203（ICD 203）——を、AIシステム開発の全段階に統合することで、AI駆動意思決定における透明性と信頼性を向上させることを提唱する。機械の出力に対しても人的分析に用いられるのと同じ厳密な分析基準を適用することにより、ブラックボックス型システムへの依存を低減し、高リスクな安全保障環境における責任追及性を向上させる。

ABSTRACT

Recent advances in artificial intelligence (AI) have lead to an explosion of multimedia applications (e.g., computer vision (CV) and natural language processing (NLP)) for different domains such as commercial, industrial, and intelligence. In particular, the use of AI applications in a national security environment is often problematic because the opaque nature of the systems leads to an inability for a human to understand how the results came about. A reliance on 'black boxes' to generate predictions and inform decisions is potentially disastrous. This paper explores how the application of standards during each stage of the development of an AI system deployed and used in a national security environment would help enable trust. Specifically, we focus on the standards outlined in Intelligence Community Directive 203 (Analytic Standards) to subject machine outputs to the same rigorous standards as analysis performed by humans.

研究の動機と目的

• 国家安全保障分野で使用されるAIシステムにおける透明性と監査可能性の欠如に取り組むこと。ここでの意思決定は、高リスクの結果をもたらす可能性がある。
• 人間の理解と監視を妨げる、不透明なAIシステム（ブラックボックス）が引き起こすリスクを特定すること。
• インテリジェンス・コミュニティ・ディレクティブ203に定められたような、人的分析基準をAI生成出力に適用するフレームワークを提唱すること。
• 人的知的分析に適用される基準と同等の基準を機械による分析に合わせることで、AIの信頼性と信頼性を向上させること。
• 防衛および諜報分野の応用において、責任追及可能で説明可能かつ監査可能なAIシステムの開発を支援すること。

提案手法

• 人的アナリストを対象として開発されたインテリジェンス・コミュニティ・ディレクティブ203（ICD 203）基準を、AIシステム出力に適用可能に再設計すること。
• AIライフサイクルの各段階（データ収集、モデル学習、推論、意思決定支援）を、対応する分析基準にマッピングすること。
• AIが導き出した結論の文書化、追跡可能性、根拠の明示を義務づける要件を導入し、人的分析の厳密さを模倣すること。
• 人間によるレビューと検証を可能にするために、AIシステムにおける説明可能性と監査可能性の重要性を強調すること。
• 関連性、正確性、証拠との整合性などの基準に照らし、AI出力を評価する構造化されたフレームワークを用いること。
• 設計段階から運用段階まで、基準をAI開発パイプラインに統合し、コンプライアンスを確保すること。

実験結果

リサーチクエスチョン

• RQ1 既存の国家安全保障分析基準を、AIシステム出力の管理にどう適応できるか。
• RQ2 信頼性と責任追及性に影響を与える、人的知的分析とAI生成知的分析との主な相違点は何か。
• RQ3 ICD 203基準をAI開発および運用ワークフローにどの程度実務的に適用できるか。
• RQ4 高リスク環境において、標準化されたプロセスを通じてAIの透明性と説明可能性をどの程度向上できるか。
• RQ5 AI意思決定が人間の分析と同様に監査可能であり、同じ程度の検証を受けるためにどのようなメカニズムが必要か。

主な発見

• ICD 203基準をAI出力に適用することで、国家安全保障分野の応用において透明性と監査可能性が顕著に向上する。
• このフレームワークにより、人的アナリストがAIが導き出した結論を、人的分析に用いられるのと同じ厳密な基準で検証・反論できるようになる。
• 根拠の文書化と追跡可能性を義務づけることで、不透明なAIシステムへの過剰な依存のリスクが低減される。
• このアプローチにより、責任追及性や意思決定の質を損なうことなく、AIを知的作業フローに統合できる。
• 本論文は、AIシステムが人的アナリストと同一の基準で管理されれば、より信頼できるものになると示している。
• 提唱された戦略は、国家安全保障機関におけるAIへの信頼を制度化する実用的な道筋を提供する。