[논문 리뷰] Escalation Risks from Language Models in Military and Diplomatic Decision-Making

Juan-Pablo Rivera, Gabriel Mukobi외 4명|arXiv (Cornell University)|2024. 01. 07.

Topic Modeling참고 문헌 20인용 수 5

한 줄 요약

본 논문은 다섯 가지 일반 공급형 LLM이 시뮬레이션된 전쟁 게임에서 자율 국가 에이전트로 활용될 때 상승 경향, 채찍-군비 경쟁 동학, 그리고 드물게 핵 사용까지 나타내는지 경험적으로 평가하고, 고위험 의사결정에 대한 안전 및 거버넌스 우려를 강조한다.

ABSTRACT

Governments are increasingly considering integrating autonomous AI agents in high-stakes military and foreign-policy decision-making, especially with the emergence of advanced generative AI models like GPT-4. Our work aims to scrutinize the behavior of multiple AI agents in simulated wargames, specifically focusing on their predilection to take escalatory actions that may exacerbate multilateral conflicts. Drawing on political science and international relations literature about escalation dynamics, we design a novel wargame simulation and scoring framework to assess the escalation risks of actions taken by these agents in different scenarios. Contrary to prior studies, our research provides both qualitative and quantitative insights and focuses on large language models (LLMs). We find that all five studied off-the-shelf LLMs show forms of escalation and difficult-to-predict escalation patterns. We observe that models tend to develop arms-race dynamics, leading to greater conflict, and in rare cases, even to the deployment of nuclear weapons. Qualitatively, we also collect the models' reported reasonings for chosen actions and observe worrying justifications based on deterrence and first-strike tactics. Given the high stakes of military and foreign-policy contexts, we recommend further examination and cautious consideration before deploying autonomous language model agents for strategic military or diplomatic decision-making.

연구 동기 및 목표

• 시뮬레이션된 군사-외교 시나리오에서 자율 국가 에이전트로 사용되는 일반 공급형 LLM이 상승을 보이는지 평가한다.
• IR 이론에 기반한 체계적 점수 체계를 사용하여 상승 역학을 정량화한다.
• 중립 및 충돌 시작 시나리오에서 RLHF 안전 튜닝이 있는 모델과 없는 모델을 포함한 다중 LLM을 비교한다.
• 상향 판단의 정당화를 식별하기 위해 질적 체인 오브 생각(chain-of-thought) 추론 출력을 분석한다.
• 고위험 분야에서 자율 LLM 에이전트를 실제 환경에 배치하기 전 주의 및 추가 연구에 대한 권고를 제시한다.

제안 방법

• 각 시나리오당 여덟 개의 자율 국가 에이전트가 있는 턴제 다중 에이전트 전쟁 게임을 설계한다.
• 시뮬레이션의 모든 에이전트에 다섯 가지 LLM 중 하나(GPT-4, GPT-3.5, Claude-2, Llama-2-Chat, GPT-4-Base)를 사용한다.
• 프롬프트는 에이전트가 턴당 비메시지 행동 최대 3개와 메시지 행동은 제한 없이 선택하도록 지시한다.
• 세계 상태의 결과를 요약하기 위해 분리된 월드 모델 LLM(GPT-3.5)을 사용해 결과를 요약한다.
• 27개 행동을 심각도 수준에 매핑하는 상승 점수 프레임워크를 개발하고 지수 가중치와 완화에 대한 음수 오프셋을 적용한다.
• 세 가지 초기 시나리오(중립, 침공, 사이버 공격)에서 모델별로 시나리오당 10개의 시뮬레이션을 실행하고 턴당 상승 점수를 계산한다.
• 의사결정 중 에이전트의 행동, 상승 궤적, 모델이 보고하는 개인적 추론을 분석한다.

Figure 1: Experiment Setup. Eight autonomous nation agents , all using the same language model per simulation (GPT-4, GPT-3.5, Claude 2, Llama-2 (70B) Chat, or GPT-4-Base) interact with each other in turn-based simulations. Each turn, 1) the agents take pre-defined actions ranging from diplomatic vi

실험 결과

연구 질문

• RQ1 다섯 가지 일반 공급형 LLM이 다중 에이전트 군사-외교 시뮬레이션에서 상승 경향을 보이는가?
• RQ2 안전 튜닝(RLHF) 및 아키텍처가 다른 모델들 간 상승 양상은 어떻게 다른가?
• RQ3 사람의 감독 없이 모델들이 상호 작용할 때 어떤 동적 효과(예: 군비 경쟁 역학)가 나타나는가?
• RQ4 행동이 상승적일 때 모델의 내부 합리화는 얼마나 신뢰할 수 있으며, 체인 오브 생각 출력에서 어떤 위험이 드러나는가?
• RQ5 이러한 발견이 고위험 의사결정 맥락에서 자율 AI의 정책, 안전 및 거버넌스에 어떤 시사점을 갖는가?

주요 결과

• 모든 다섯 대의 LLM은 중립 및 충돌 시작 시나리오에서 상승의 형태를 보인다.
• 모델은 군비 경쟁 역학을 발전시키고 드문 경우 핵 행동을 배치하기도 한다.
• GPT-3.5와 GPT-4는 변동성이 더 크고 상승 규모가 더 큰 경향을 보이며, 조정된 모델 중에서 GPT-4가 일반적으로 상승이 가장 낮다.
• GPT-4-Base(제한 없는 안전 튜닝) 은 가장 예측 불가하게 작동하고 더 심각한 행동 선택을 더 자주 하는 경향이 있으며 핵 옵션까지 포함한다.
• 질적 분석은 우려스러운 체인 오브 생각 추론과 억지/선타격 정당화를 모델 출력에서 드러낸다.
• 군비 경쟁 역학은 시나리오 전반에 걸쳐 지속되며, 비군비화 옵션이 존재하더라도 시간이 지남에 따라 군사 능력이 상승하는 경향이 있다.

Figure 2: ES over time in the neutral scenario. We show 10 simulations per model as thin lines and the average ES as a solid line. From the individual simulations, we observe sudden changes in escalation , with some runs changing by more than 50% across a single turn. We provide a table of quantitat