[論文レビュー] A Stable Nuclear Future? The Impact of Autonomous Systems and Artificial Intelligence

Michael C. Horowitz, Paul Scharre+1 more|arXiv (Cornell University)|Dec 11, 2019

Global Energy and Sustainability ResearchEnergy被引用数 20

ひとこと要約

この論文は、自律システムおよび人工知能（AI）が核の安定性に与える影響を、指揮・統制、兵器の運用プラットフォーム、および従来の軍事的応用の観点から検討する。AI や自律性が圧力下での意思決定を改善し、事故を減らす可能性がある一方で、誤解釈や予期しない段階的拡大、特に無人核システムや高テンポの作戦における時間的圧力下で、核の抑止力の不安定化を引き起こすリスクが高まることを主張している。

ABSTRACT

The potential for advances in information-age technologies to undermine nuclear deterrence and influence the potential for nuclear escalation represents a critical question for international politics. One challenge is that uncertainty about the trajectory of technologies such as autonomous systems and artificial intelligence (AI) makes assessments difficult. This paper evaluates the relative impact of autonomous systems and artificial intelligence in three areas: nuclear command and control, nuclear delivery platforms and vehicles, and conventional applications of autonomous systems with consequences for nuclear stability. We argue that countries may be more likely to use risky forms of autonomy when they fear that their second-strike capabilities will be undermined. Additionally, the potential deployment of uninhabited, autonomous nuclear delivery platforms and vehicles could raise the prospect for accidents and miscalculation. Conventional military applications of autonomous systems could simultaneously influence nuclear force postures and first-strike stability in previously unanticipated ways. In particular, the need to fight at machine speed and the cognitive risk introduced by automation bias could increase the risk of unintended escalation. Finally, used properly, there should be many applications of more autonomous systems in nuclear operations that can increase reliability, reduce the risk of accidents, and buy more time for decision-makers in a crisis.

研究の動機と目的

• AI や自律システムの進展が核抑止力の不安定化をもたらし、予期しない核の段階的拡大のリスクを高める可能性を評価すること。
• 自律核兵器の運用プラットフォームや車両の導入が、危機安定性および第二撃力の信頼性に与える影響を検討すること。
• 特にマシンスピードでの運用が求められる状況において、自律性の従来の軍事的応用が、間接的に核の安定性および第一撃力の安定性に与える影響を評価すること。
• 核作戦における自律性の増加が、信頼性の向上、事故の低減、危機時の意思決定時間の改善をもたらす条件を同定すること。
• 自動化バイアスおよび認知的リスクが、圧力下での意思決定を加速させ、誤解釈の可能性を高める役割を探索すること。

提案手法

• 核の指揮・統制、核兵器の運用プラットフォーム、自律システムの従来の軍事的応用の3分野を比較分析する。
• 事例ベースの推論を用いて、自律性が核抑止力の姿勢を安定化または不安定化させるシナリオを評価する。
• 高リスクの軍事的意思決定環境における自動化バイアスと時間的圧力の心理的・運用的リスクを分析する。
• 第二撃力の能力に脅かされていると感じた国が、危険な自律性を採用する戦略的インcentiveを評価する。
• 自律システムを従来分野と核分野に統合することで、予期しない段階的拡大が生じる可能性をモデル化する。
• 特に危機時の意思決定において、人為的ミスを低減し、信頼性を向上させる自律システムの潜在的効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 自律核兵器の運用プラットフォームの導入が、第二撃力の安定性にどのような影響を及えるだろうか？
• RQ2 自律システムの従来の軍事的応用は、どのような形で核の安定性を間接的に損なう可能性があるか？
• RQ3 自動化バイアスは、高テンポの軍事作戦において意思決定をどのように加速させ、段階的拡大のリスクにどのように影響するか？
• RQ4 核の指揮・統制における自律性の増加が、危機安定性を向上させ、事故リスクを低減する条件は何か？
• RQ5 技術的脆弱性に対する認識が、核システムにおける危険な形の自律性を採用するインcentiveにどのように影響するか？

主な発見

• 国々は、第二撃力の能力が脅かされていると感じると、危険な自律性を採用する傾向が高まり、不安定化行動のリスクが増加する。
• 無人で自律的な核兵器の運用プラットフォームの導入は、人的監視の低下と意思決定サイクルの短縮により、事故や誤解釈のリスクを高める。
• 従来の軍事的応用における自律システムは、特にマシンスピードでの運用が求められるため、核の戦力構成や第一撃力の安定性に予期しない形で影響を与える可能性がある。
• 高圧力環境における自動化バイアスや認知的ショートカットは、意思決定が急速に進められる中で、予期しない段階的拡大の可能性を高める。
• 適切に実装された自律システムは、信頼性の向上、人為的ミスの低減、および危機時における意思決定者への時間的余裕の拡大をもたらし、安定性を向上させる。
• AI や自律性を核作戦に統合することは二面性を持つ：適切に管理されれば安全性とレジilienceの向上が見込めるが、不適切な管理では誤解釈や不安定化の重大なリスクを伴う。