[논문 리뷰] A Stable Nuclear Future? The Impact of Autonomous Systems and Artificial Intelligence

Michael C. Horowitz, Paul Scharre외 1명|arXiv (Cornell University)|2019. 12. 11.

Global Energy and Sustainability Research인용 수 20

한 줄 요약

이 논문은 자율 시스템과 인공지능(AI)이 핵 안정성에 어떤 영향을 미칠 수 있는지 분석하며, 지휘통제, 운반체계, 그리고 기존 군사 응용 분야에 초점을 맞춘다. AI와 자율성은 압박 상황에서 의사결정을 개선하고 사고를 줄일 수 있지만, 동시에 오해의 소지, 뜻하지 않은 확대 위험, 제2차 핵보복 능력의 취약성을 증가시킬 수 있으며, 특히 무인 핵 시스템에 도입되거나 고속도의 작전 환경에서 시간 압박을 받을 경우 더욱 그러하다.

ABSTRACT

The potential for advances in information-age technologies to undermine nuclear deterrence and influence the potential for nuclear escalation represents a critical question for international politics. One challenge is that uncertainty about the trajectory of technologies such as autonomous systems and artificial intelligence (AI) makes assessments difficult. This paper evaluates the relative impact of autonomous systems and artificial intelligence in three areas: nuclear command and control, nuclear delivery platforms and vehicles, and conventional applications of autonomous systems with consequences for nuclear stability. We argue that countries may be more likely to use risky forms of autonomy when they fear that their second-strike capabilities will be undermined. Additionally, the potential deployment of uninhabited, autonomous nuclear delivery platforms and vehicles could raise the prospect for accidents and miscalculation. Conventional military applications of autonomous systems could simultaneously influence nuclear force postures and first-strike stability in previously unanticipated ways. In particular, the need to fight at machine speed and the cognitive risk introduced by automation bias could increase the risk of unintended escalation. Finally, used properly, there should be many applications of more autonomous systems in nuclear operations that can increase reliability, reduce the risk of accidents, and buy more time for decision-makers in a crisis.

연구 동기 및 목표

• AI 및 자율 시스템의 발전이 핵 억제력의 안정성을 떨어뜨리고 뜻하지 않은 핵 확대 위험을 증가시킬 수 있는지 평가하기.
• 자율 핵 운반체계 및 차량의 도입이 위기 안정성과 제2차 핵보복 신뢰성에 어떤 영향을 미치는지 검토하기.
• 특히 기계 속도에서 작동하는 자율 시스템의 기존 군사 응용이 간접적으로 핵 안정성과 제1차 핵보복 안정성에 어떤 영향을 미칠 수 있는지 평가하기.
• 핵 작전에서의 자율성 증가가 신뢰성 향상, 사고 감소, 위기 상황에서의 의사결정 시간 단축에 기여할 수 있는 조건을 특정하기.
• 압박 상황에서 의사결정을 가속화하는 자동화 편향과 인지적 위험 요소가 오해의 소지와 확대 위험을 증가시키는 방식을 탐색하기.

제안 방법

• 핵 지휘통제, 핵 운반체계, 자율 시스템의 기존 군사 응용 분야의 세 영역을 비교 분석하기.
• 사례 기반 추론을 활용해 자율성이 핵 억제력 기조를 안정화하거나 파괴할 수 있는 시나리오 평가하기.
• 고위험 군사 의사결정 환경에서 자동화 편향과 시간 압박이 초래하는 심리적 및 운영적 위험 분석하기.
• 제2차 핵보복 능력에 대한 위협을 느끼는 국가들이 위험한 자율성 도입에 대한 전략적 유인을 어떻게 갖는지 평가하기.
• 자율 시스템을 기존 및 핵 분야에 통합함으로써 뜻하지 않은 확대가 발생할 가능성을 모델링하기.
• 특히 위기 의사결정 과정에서 인간 실수를 줄이고 신뢰성을 높이기 위해 자율 시스템이 핵 운영에 기여할 잠재력 평가하기.

실험 결과

연구 질문

• RQ1 자율 핵 운반체계의 도입이 제2차 핵보복 능력의 안정성에 어떤 영향을 미칠 수 있는가?
• RQ2 기존 군사 응용 분야에서의 자율 시스템이 간접적으로 핵 안정성에 어떤 방식으로 악영향을 미칠 수 있는가?
• RQ3 자동화 편향은 고속도의 군사 작전 환경에서 의사결정을 어떻게 가속화하며, 이는 확대 위험에 어떤 영향을 미치는가?
• RQ4 핵 지휘통제에서 자율성 증가가 위기 안정성 향상과 사고 위험 감소에 기여할 수 있는 조건은 무엇인가?
• RQ5 기술적 취약성에 대한 인식이 국가들이 핵 시스템에서 위험한 형태의 자율성 도입에 대한 유인을 어떻게 증가시키는가?

주요 결과

• 국가들은 제2차 핵보복 능력이 위협받을 것으로 우려할 경우 더 위험한 자율성 도입을 선택할 가능성이 높아지며, 이는 불안정한 행동을 유도할 위험이 증가한다.
• 무인 자율 핵 운반체계의 도입은 인간의 감시 감소와 더 빠른 의사결정 사이클로 인해 사고와 오해의 위험이 증가한다.
• 기존 군사 응용 분야에서의 자율 시스템은 기계 속도로 작동해야 하는 필요성으로 인해 핵 전력 기조와 제1차 핵보복 안정성에 뜻밖의 영향을 미칠 수 있다.
• 압박 상황에서의 자동화 편향과 인지적 단순화 전략은 특히 빠른 의사결정이 요구될 경우 뜻하지 않은 확대 가능성을 높인다.
• 적절하게 구현된 자율 시스템은 신뢰성 향상, 인간 실수 감소, 위기 상황에서 의사결정자에게 더 많은 시간을 제공함으로써 안정성을 향상시킬 수 있다.
• AI 및 자율성의 핵 운영 분야 통합은 双刃의 검과 같다: 안전성과 회복력 향상 잠재력이 있는 반면, 신중한 관리가 이루어지지 않을 경우 오해의 소지와 불안정성의 심각한 위험도 수반한다.