[論文レビュー] Integrating Artificial Intelligence into Weapon Systems

Philip Feldman, Aaron Dant+1 more|arXiv (Cornell University)|May 10, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用数 9

ひとこと要約

本論文は、AIを武器システムに統合するための動的で人間が関与するフレームワークを提唱し、相互作用性、透明性、および深刻な失敗に対するレジリエンスを重視することで、危険な失敗を防ぐ。AIに厳格な規制がなければ、必然的に完全に自律的で常に稼働するシステムが登場し、倫理的・戦略的崩壊のリスクを伴うと主張する。

ABSTRACT

The integration of Artificial Intelligence (AI) into weapon systems is one of the most consequential tactical and strategic decisions in the history of warfare. Current AI development is a remarkable combination of accelerating capability, hidden decision mechanisms, and decreasing costs. Implementation of these systems is in its infancy and exists on a spectrum from resilient and flexible to simplistic and brittle. Resilient systems should be able to effectively handle the complexities of a high-dimensional battlespace. Simplistic AI implementations could be manipulated by an adversarial AI that identifies and exploits their weaknesses. In this paper, we present a framework for understanding the development of dynamic AI/ML systems that interactively and continuously adapt to their user's needs. We explore the implications of increasingly capable AI in the kill chain and how this will lead inevitably to a fully automated, always on system, barring regulation by treaty. We examine the potential of total integration of cyber and physical security and how this likelihood must inform the development of AI-enabled systems with respect to the "fog of war", human morals, and ethics.

研究の動機と目的

• AI/MLを軍事的武器システムに統合するための構造的フレームワークを開発し、自律性と人間の監視のバランスを図ること。
• 敵対的環境で悪用される可能性のある、もろい・透明性のないAIシステムのリスクに対処すること。
• キルチェーンにおけるAI駆動の自動化の影響を検討し、人間の意思決定を回避する可能性を明らかにすること。
• 致命的で自律的な武器の不可逆的導入を前に、倫理的・規制的措置を提唱すること。
• 軍事的・市民的両分野で利用可能な、レジリエントで解釈可能なAIの二重利用応用を探索すること。

提案手法

• 人間が関与する、人間が監視する、人間が起動する「発射後放棄」、および事後的フォレンジックスの4段階の運用モデルを提唱する。
• リアルタイムでのユーザーによるAI行動の検証と調整を可能にする相互作用性を強調する。
• 意思決定の起源を追跡するためのプロバンスログとアクティベーションアトラスを通じた透明性を重視する。
• レジリエンスをコアな要件として導入：不確実性下でも滑らかに劣化し、信頼性が低いと信号を発する必要がある。
• OODAループ（観察、状況把握、意思決定、行動）を、AIが戦術的意思決定に果たす役割を分析する概念的レンズとして使用する。
• 展開前に、AI同士の対立を広範にシミュレーションして、予期しない行動の発生を予測することを提唱する。

実験結果

リサーチクエスチョン

• RQ1 AIをどのように武器システムに統合することで、人間の制御を維持しながらもリアルタイムでの適応性を確保できるか？
• RQ2 高次元で動的な戦場環境において、もろい・透明性のないAIシステムを導入するリスクは何か？
• RQ3 性能を損なわせることなく、AIシステムをどれほど透明かつ解釈可能にできるか？
• RQ4 人間が関与するシステムから完全に自律的システムに移行することは、どのような倫理的・戦略的結果をもたらすか？
• RQ5 AIシステムが説明のつかない意思決定を下した場合、事後的フォレンジックスがどのように責任追及を可能にするか？

主な発見

• レジリエントでない、透明性のないAIシステムは、特に高次元の意思決定空間において、敵対的操作の対象となりやすい。
• 国際的規制がなければ、人間が関与するシステムから完全に自律的システムへの移行は避けがたい。
• 現在のAI開発は能力の向上とコストの低下を同時に進め、AI軍備競争のリスクを高めている。
• 人間-AIチームにおける発生的行動は、既存の軍事的教義や倫理基準と一致しない可能性がある。
• 高精度なデータプロバンスを備えた事後的フォレンジックスは、責任追及に不可欠だが、現状では未発達である。
• 致命的で自律的な武器の規制または禁止は、制御不能な導入を避けるための合理的な代替策であり、化学・生物兵器と同様の扱いが妥当である。