[論文レビュー] Richelieu: Self-Evolving LLM-Based Agents for AI Diplomacy

Zhenyu Guan, Xiangyu Kong+2 more|arXiv (Cornell University)|Jul 9, 2024

Multi-Agent Systems and Negotiation被引用数 4

ひとこと要約

本論文では、戦略的計画、記憶、社会的推論、自己対戦を統合することで、人間のデータに依存せずに自己進化するLLMベースのAIエージェント「Richelieu」を紹介する。このエージェントは、自己進化した経験と自己反映を活用することで、Ciceroと比較してマルチエージェントのDiplomacyにおいて優れた性能を発揮し、ゼロショット評価で44.4％の勝率を記録した。

ABSTRACT

Diplomacy is one of the most sophisticated activities in human society, involving complex interactions among multiple parties that require skills in social reasoning, negotiation, and long-term strategic planning. Previous AI agents have demonstrated their ability to handle multi-step games and large action spaces in multi-agent tasks. However, diplomacy involves a staggering magnitude of decision spaces, especially considering the negotiation stage required. While recent agents based on large language models (LLMs) have shown potential in various applications, they still struggle with extended planning periods in complex multi-agent settings. Leveraging recent technologies for LLM-based agents, we aim to explore AI's potential to create a human-like agent capable of executing comprehensive multi-agent missions by integrating three fundamental capabilities: 1) strategic planning with memory and reflection; 2) goal-oriented negotiation with social reasoning; and 3) augmenting memory through self-play games for self-evolution without human in the loop.

研究の動機と目的

• ドメイン特化された人間のデモンストレーションデータに依存しないAI交渉エージェントの開発を目的とする。
• LLMを用いて、マルチエージェント環境における長時間スパンの戦略的計画と社会的推論を可能にする。
• 自己対戦ゲームを通じて自己進化フレームワークを設計し、記憶と自己反映を強化して継続的な改善を実現する。
• GPT-4.0やLlama 3を含むさまざまなLLMアーキテクチャへの一般化を検証する。
• Ciceroのような最先端エージェントに劣らない性能を、大規模な人間のデモンストレーションに依存せずに実証する。

提案手法

• 短時間の行動と長期的目標のバランスを取るために、記憶と自己反映を統合した階層的計画モジュールを採用する。
• 部分的観測に基づいて信頼度を評価し、裏切りを検出・適応し、変動する連合関係に柔軟に対応する社会的推論モジュールを活用する。
• 人間のデータを一切使用せずに、自己対戦によって合成された経験を生成し、反復的ゲームを通じて継続的な自己進化を可能にする。
• 記憶モジュールは過去の交渉や行動を保存・取得し、将来の意思決定を支援するとともに、自己反映学習を促進する。
• LLMとモジュラーなコンponentsを統合し、微調整や交換が可能であるため、GPT-4.0やLlama 3などのさまざまなLLMと互換性を持つ。
• 自身の意思決定を自己反映によって評価し、過去の結果や経験に基づいて戦略を調整する。

実験結果

リサーチクエスチョン

• RQ1 人間がアノテートした交渉データが存在しない複雑なマルチエージェント環境において、LLMベースのエージェントが人間並みの交渉的推論を達成できるか？
• RQ2 自己対戦は、自己進化型AI交渉エージェントの訓練に高品質な経験を生成するのにどの程度効果的か？
• RQ3 記憶と自己反映メカニズムは、マルチエージェントゲームにおける長期的戦略的計画と社会的推論をどの程度向上できるか？
• RQ4 GPT-4.0 や Llama 3 といった異なるLLMアーキテクチャへの一般化はどの程度達成できるか？
• RQ5 大規模な人間のデモンストレーションに依存せずに、Ciceroのような最先端エージェントをDiplomacyで上回れるか？

主な発見

• ゼロショット評価において、RichelieuはCiceroに対して44.4％の勝率を記録し、Ciceroの94.6％の敗北率を大きく上回った。
• 交渉成功率においても優位で、4つの連合条件を満たした場合に39.5％の勝率を示したが、Ciceroは87.5％の敗北率を示した。
• アブレーションスタディにより、記憶、自己反映、自己対戦の組み合わせが性能向上に不可欠であることが確認され、それぞれが戦略的整合性と適応性に寄与した。
• GPT-4.0 や Llama 3 を含むさまざまなLLMにおいても、フレームワークの一般化が良好に機能し、一貫した性能向上が得られた。
• 事例では、Richelieuが将来の脅威に対抗するための連合を結成し、イギリスの偽の連合提案を検出し、戦略的優位を確立した。
• 自己対戦による自己進化メカニズムにより、人間がアノテートしたデータに依存せずに、複雑で長期的な戦略を発展させることができ、自律的エージェント進化の実現可能性を裏付けた。