[논문 리뷰] AI-Powered Autonomous Weapons Risk Geopolitical Instability and Threaten AI Research

Riley Simmons-Edler, Ryan P. Badman외 2명|arXiv (Cornell University)|2024. 05. 03.

Ethics and Social Impacts of AI인용 수 5

한 줄 요약

본 논문은 완전 자율 무기(AWS)가 지정학적 불안정을 높이고 개방형 AI 연구를 위태롭게 할 수 있으며, 근미래 위험을 완화하고 책임 있는 개발을 촉진하기 위한 정책 조치를 제안한다.

ABSTRACT

The recent embrace of machine learning (ML) in the development of autonomous weapons systems (AWS) creates serious risks to geopolitical stability and the free exchange of ideas in AI research. This topic has received comparatively little attention of late compared to risks stemming from superintelligent artificial general intelligence (AGI), but requires fewer assumptions about the course of technological development and is thus a nearer-future issue. ML is already enabling the substitution of AWS for human soldiers in many battlefield roles, reducing the upfront human cost, and thus political cost, of waging offensive war. In the case of peer adversaries, this increases the likelihood of "low intensity" conflicts which risk escalation to broader warfare. In the case of non-peer adversaries, it reduces the domestic blowback to wars of aggression. This effect can occur regardless of other ethical issues around the use of military AI such as the risk of civilian casualties, and does not require any superhuman AI capabilities. Further, the military value of AWS raises the specter of an AI-powered arms race and the misguided imposition of national security restrictions on AI research. Our goal in this paper is to raise awareness among the public and ML researchers on the near-future risks posed by full or near-full autonomy in military technology, and we provide regulatory suggestions to mitigate these risks. We call upon AI policy experts and the defense AI community in particular to embrace transparency and caution in their development and deployment of AWS to avoid the negative effects on global stability and AI research that we highlight here.

연구 동기 및 목표

• 글로벌 안정을 위한 근미래 AWS 위험에 대해 머신러닝 연구자와 정책 커뮤니티의 인식을 높인다.
• AWS 확산이 민간 AI 연구와 학술 규범에 어떤 영향을 미칠 수 있는지 분석한다.
• 군사-인공지능 융합의 해를 완화하기 위한 규제 및 투명성 중심 전략을 제안한다.
• 확전을 방지하고 남용을 막기 위한 AWS 자율성 수준과 감독에 관한 국제 표준을 권고한다.
• 정책 입안자, 연구자, 산업 간의 책임 있는 개발 관행과 협력을 촉진한다.

제안 방법

• 대기/육지/해양 및 작전 지휘 시스템 전반에 걸친 현재 AWS 개발 및 배치를 검토한다.
• 확산 역학을 분석하고 ML 하드웨어나 지식을 제한하는 것이 왜 비효과적인지 설명한다.
• AWS 주도 전쟁 및 인간 감독 감소가 가져오는 지정학적 및 사회적 영향을 논의한다.
• 전면 금지 없이 위험을 완화하기 위한 정책 및 거버넌스 접근법을 제안한다.
• 자율성 수준과 군사-민간 연구 중첩에 대한 투명성의 필요성을 강조한다.

Figure 1: Locations of alleged deployment of fully or near fully autonomous AI-powered weapon systems that were discussed in this work. The Turkey, Azerbaijan and Armenia deployments are further discussed by (De Vynck, 2021 ) .

실험 결과

연구 질문

• RQ1 고도로 자율적인 AWS 배치에서 근시점에 어떤 지정학적 불안정이 발생할 가능성이 있는가?
• RQ2 AWS 확산이 글로벌 AI 연구, 협력 및 이중 사용 역학에 어떤 영향을 미칠 수 있는가?
• RQ3 일반 AI 발전을 저해하지 않고 AWS 위험을 완화할 수 있는 규제 및 거버넌스 조치는 무엇인가?
• RQ4 자율성 수준과 인간 감독을 국제적으로 어떻게 표준화하고 전달해야 하는가?

주요 결과

• 완전 자율 AWS는 전쟁의 인적 비용을 낮출 수 있어 갈등 빈도와 고조 위험을 증가시킬 수 있다.
• AWS 확산은 AI 주도 무기 경쟁을 촉발하고 군사-민간 연구 중첩의 확장을 초래하여 글로벌 연구 규범에 영향을 미칠 수 있다.
• ML 연구나 하드웨어 수출을 차단하는 것은 AWS 개발을 막지 못하고 과학 진보에 해를 끼칠 가능성이 있다.
• AWS 자율성 수준, 능력, 인간 감독에 대한 투명성은 책임성과 거버넌스에 필수적이다.
• AI의 이중 사용 특성으로 민간 연구 및 산업이 방어 목적으로 동원될 수 있어 대학과 기업의 더 강한 윤리 및 감독이 필요하다.
• 규제 접근 방식은 광범위한 AI 연구 제한을 피하고 대신 명시적 AWS 관련 데이터 세트와 배치 관행을 겨냥해야 한다.