[논문 리뷰] Integrating Artificial Intelligence into Weapon Systems

Philip Feldman, Aaron Dant외 1명|arXiv (Cornell University)|2019. 05. 10.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 9

한 줄 요약

이 논문은 AI를 무기 체계에 통합하기 위한 동적이고 인간이 개입하는 프레임워크를 제안하며, 비재해성, 투명성, 그리고 치명적인 실패에 대한 회복력을 강조한다. 이는 규제가 없을 경우 AI가 피할 수 없이 완전 자율적이고 항상 켜진 시스템으로 이어져 윤리적·전략적 붕괴의 위험을 초래할 것이라고 주장한다.

ABSTRACT

The integration of Artificial Intelligence (AI) into weapon systems is one of the most consequential tactical and strategic decisions in the history of warfare. Current AI development is a remarkable combination of accelerating capability, hidden decision mechanisms, and decreasing costs. Implementation of these systems is in its infancy and exists on a spectrum from resilient and flexible to simplistic and brittle. Resilient systems should be able to effectively handle the complexities of a high-dimensional battlespace. Simplistic AI implementations could be manipulated by an adversarial AI that identifies and exploits their weaknesses. In this paper, we present a framework for understanding the development of dynamic AI/ML systems that interactively and continuously adapt to their user's needs. We explore the implications of increasingly capable AI in the kill chain and how this will lead inevitably to a fully automated, always on system, barring regulation by treaty. We examine the potential of total integration of cyber and physical security and how this likelihood must inform the development of AI-enabled systems with respect to the "fog of war", human morals, and ethics.

연구 동기 및 목표

• AI/기계학습을 군사 무기 체계에 통합하기 위한 체계적인 프레임워크를 개발하여 자율성과 인간의 감시를 균형 있게 유지한다.
• 적대적 환경에서 악용될 수 있는 취약하고 투명성 없는 AI 체계의 위험을 해결한다.
• 사망 체인에서 AI 기반 자동화의 영향을 분석하고 인간의 의사결정을 우회할 수 있는 잠재적 위험을 탐색한다.
• 치명적인 자율 무기의 불가역적 배치 이전에 윤리적 및 규제적 보호 조치를 촉구한다.
• 군사 및 민간 분야 모두에 응용 가능한 복원력 있고 해석 가능한 AI의 双용 응용 가능성을 탐색한다.

제안 방법

• 사람이 개입하는 계층, 사람의 감시가 이루어지는 계층, 인간이 시작한 '사격 후 무시' 모드, 사후 분석 고찰의 네 단계로 구성된 운영 모델을 제안한다.
• 실시간 사용자 검증과 AI 행동 조정을 가능하게 하기 위해 상호작용성을 강조한다.
• 기록 출처 로깅과 활성화 아틀라스를 통해 의사결정 기원을 추적함으로써 투명성을 강조한다.
• 복원력을 핵심 요구사항으로 도입: 불확실성 상황에서 시스템이 점진적으로 기능을 저하시키고, 낮은 신뢰도 신호를 내보내야 한다.
• OODA 루프(Observation, Orientation, Decision, Action)를 개념적 렌즈로 활용하여 AI의 전술적 의사결정 기여를 분석한다.
• 배포 이전에 AI-AI 갈등의 광범위한 시뮬레이션을 통해 잠재적 행동의 기원을 예측한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 인간의 통제를 유지하면서도 실시간 적응 능력을 갖춘 방식으로 AI를 무기 체계에 통합할 수 있는가?
• RQ2 고차원적이고 동적인 전장 환경에서 취약하고 투명성 없는 AI 체계를 배치할 경우 어떤 위험이 있는가?
• RQ3 성능을 훼손하지 않으면서도 AI 체계를 얼마나 투명하고 해석 가능하게 만들 수 있는가?
• RQ4 사람이 개입하는 체계에서 완전 자율 체계로의 전환은 윤리적·전략적 결과에 어떤 영향을 미치는가?
• RQ5 AI 체계가 설명할 수 없는 결정을 내릴 경우, 사후 분석을 통해 책임을 어떻게 확보할 수 있는가?

주요 결과

• 복원력 없고 투명성 없는 AI 체계는 고차원적 의사결정 공간에서 특히 적대적 조작에 취약하다.
• 국제 규제가 없을 경우 인간이 개입하는 체계에서 완전 자율 체계로의 전환은 피할 수 없이 발생할 것이다.
• 현재 AI 개발은 능력 향상과 함께 비용 감소 추세를 보이며, AI 무기 경쟁의 위험을 증가시킨다.
• 인간-AI 팀에서 나타나는 잠재적 행동 양태는 기존의 군사 지침이나 윤리 기준과 일치하지 않을 수 있다.
• 고정밀도의 데이터 기록 출처를 갖춘 사후 분석은 책임 보장을 위해 필수적이지만 여전히 미발전 상태이다.
• 치명적인 자율 무기의 규제 또는 금지는 화학·생물 무기와 마찬가지로 통제되지 않은 배치를 피하기 위한 합리적인 대안이다.