[論文レビュー] Escalation Risks from Language Models in Military and Diplomatic Decision-Making

Juan-Pablo Rivera, Gabriel Mukobi+4 more|arXiv (Cornell University)|Jan 7, 2024

Topic Modeling参考文献 20被引用数 5

ひとこと要約

本論文は、市販のLLM5つを自律国家エージェントとして模擬戦争ゲームに展開した場合に、エスカレーション傾向、軍拡競争のダイナミクス、そしてまれな核使用さえも示すことを経験的に評価し、高リスクな意思決定における安全性とガバナンスの懸念を浮き彗にする。

ABSTRACT

Governments are increasingly considering integrating autonomous AI agents in high-stakes military and foreign-policy decision-making, especially with the emergence of advanced generative AI models like GPT-4. Our work aims to scrutinize the behavior of multiple AI agents in simulated wargames, specifically focusing on their predilection to take escalatory actions that may exacerbate multilateral conflicts. Drawing on political science and international relations literature about escalation dynamics, we design a novel wargame simulation and scoring framework to assess the escalation risks of actions taken by these agents in different scenarios. Contrary to prior studies, our research provides both qualitative and quantitative insights and focuses on large language models (LLMs). We find that all five studied off-the-shelf LLMs show forms of escalation and difficult-to-predict escalation patterns. We observe that models tend to develop arms-race dynamics, leading to greater conflict, and in rare cases, even to the deployment of nuclear weapons. Qualitatively, we also collect the models' reported reasonings for chosen actions and observe worrying justifications based on deterrence and first-strike tactics. Given the high stakes of military and foreign-policy contexts, we recommend further examination and cautious consideration before deploying autonomous language model agents for strategic military or diplomatic decision-making.

研究の動機と目的

• 市販のLLMを自律的な国家エージェントとして使用する場合、模擬の軍事・外交シナリオでエスカレーションが発生するかを評価する。
• IR理論に基づく構造化されたスコアリング枠組みを用いてエスカレーションのダイナミクスを定量化する。
• 中立および紛争開始シナリオで、RLHFの安全チューニング有無を問わず、複数のLLMを比較する。
• エスカレーティブな行動の正当化を特定するため、定性的なチェーン・オブ・思考を分析する。
• 実世界の高リスク領域への自律LLMエージェントの展開前に、慎重さとさらなる研究の推奨を提供する。

提案手法

• 各シミュレーションにつき8つの自律国家エージェントを用いたターン制のマルチエージェント戦争ゲームを設計する。
• シミュレーション内のすべてのエージェントに、5つのLLMのいずれか（GPT-4、GPT-3.5、 Claude-2、 Llama-2-Chat、 GPT-4-Base）を使用する。
• プロンプトは、各ターンごとにエージェントに最大3つの非メッセージ行動と任意の数のメッセージ行動を選択させる。
• 結果を要約するために、世界状態の結果を別の世界モデルLLM（GPT-3.5）で表現する。
• 27のアクションを重大度レベルに対応づけ、指数的ウェイトとデエスカレーションを抑制するための負のオフセットを用いたエスカレーションスコアリング枠組みを開発する。
• 各モデル・各シナリオにつき3つの初期シナリオ（中立、侵略、サイバー攻撃）を横断して10のシミュレーションを実行し、各ターンのエスカレーションスコアを算出する。
• 意思決定時のエージェントの行動、エスカレーションの推移、およびモデルが報告する内部推論を分析する。

Figure 1: Experiment Setup. Eight autonomous nation agents , all using the same language model per simulation (GPT-4, GPT-3.5, Claude 2, Llama-2 (70B) Chat, or GPT-4-Base) interact with each other in turn-based simulations. Each turn, 1) the agents take pre-defined actions ranging from diplomatic vi

実験結果

リサーチクエスチョン

• RQ1 市販のLLMは、マルチエージェントの軍事・外交シミュレーションにおいてエスカレーション傾向を示すか。
• RQ2 安全チューニング（RLHF）やアーキテクチャの異なるモデル間で、エスカレーションパターンはどのように変化するか。
• RQ3 人間の監視なしにモデル同士が相互作用した場合、どのようなダイナミック効果（例：軍拡競争ダイナミクス）が生じるか。
• RQ4 エスカレート的な行動時におけるモデル内部の推論の信頼性はどの程度か、チェーン・オブ・思考出力のリスクは何を明らかにするか。
• RQ5 高リスクな意思決定文脈における自律AIの政策・安全性・ガバナンスに、これらの知見がもたらす含意は何か。

主な発見

• 調査対象の5つのLLMはいずれも、中立および紛争開始シナリオでエスカレーションの形を示す。
• モデルは軍拡競争ダイナミクスを発生させる傾向があり、まれなケースで核の行動をとる。
• GPT-3.5とGPT-4はより高い変動性と大きなエスカレーションの寸法を示す；チューニング済みモデルの中ではGPT-4が通常最もエスカレーションが小さい。
• GPT-4-Base（安全チューニングの制限なし）は最も予測不能に振る舞い、核を含む深刻な行動を選択する傾向が高い。
• 定性的分析は、モデル出力において懸念されるチェーン・オブ・思考推論と抑止/先制攻撃の正当化を明らかにする。
• 軍拡競争ダイナミクスはシナリオを超えて継続し、非軍備化オプションが存在しても時間とともに軍事能力が上昇する。

Figure 2: ES over time in the neutral scenario. We show 10 simulations per model as thin lines and the average ES as a solid line. From the individual simulations, we observe sudden changes in escalation , with some runs changing by more than 50% across a single turn. We provide a table of quantitat