[논문 리뷰] Richelieu: Self-Evolving LLM-Based Agents for AI Diplomacy

Zhenyu Guan, Xiangyu Kong외 2명|arXiv (Cornell University)|2024. 07. 09.

Multi-Agent Systems and Negotiation인용 수 4

한 줄 요약

이 논문은 인간의 데이터 없이 전략적 계획, 기억, 사회적 추론 및 자기 연습을 통합하여 인간의 지도력 역할을 수행하는 자가진화형 LLM 기반 AI 에이전트인 Richelieu를 소개한다. 이 에이전트는 인간 데이터 없이도 자기진화 경험과 반성을 통해 성능을 향상시키며, Cicero와 같은 최신 기술 기반 에이전트보다 다중 에이전트 딜로마시에서 44.4%의 승률을 기록하여 제로샷 평가에서 슈퍼리어리티를 확보하였다.

ABSTRACT

Diplomacy is one of the most sophisticated activities in human society, involving complex interactions among multiple parties that require skills in social reasoning, negotiation, and long-term strategic planning. Previous AI agents have demonstrated their ability to handle multi-step games and large action spaces in multi-agent tasks. However, diplomacy involves a staggering magnitude of decision spaces, especially considering the negotiation stage required. While recent agents based on large language models (LLMs) have shown potential in various applications, they still struggle with extended planning periods in complex multi-agent settings. Leveraging recent technologies for LLM-based agents, we aim to explore AI's potential to create a human-like agent capable of executing comprehensive multi-agent missions by integrating three fundamental capabilities: 1) strategic planning with memory and reflection; 2) goal-oriented negotiation with social reasoning; and 3) augmenting memory through self-play games for self-evolution without human in the loop.

연구 동기 및 목표

• 도메인 특화 인간의 시연 데이터에 의존하지 않는 AI 외교 에이전트 개발
• LLM를 활용한 다중 에이전트 환경에서 장기적 전략 계획 및 사회적 추론 기능 구현
• 자기 연습 게임을 통한 자기진화 프레임워크 설계로 기억 및 반성 기능을 강화하여 지속적인 개선 유도
• GPT-4.0 및 Llama 3와 같은 다양한 LLM 아키텍처로의 일반화 성능 검증
• Cicero와 같은 최신 기술 기반 에이전트보다 딜로마시에서 뛰어난 성능을 보여주는 것 입증

제안 방법

• 단기 행동과 장기 목표의 균형을 이루기 위해 기억 및 반성을 통합한 계층적 계획 모듈 활용
• 부분 관찰 기반로 신뢰도 평가, 기만 탐지, 동맹의 변화에 적응하기 위한 사회적 추론 모듈 사용
• 인간 데이터 없이도 합성 경험을 생성하는 자기 연습 메커니즘을 통해 반복적 플레이를 통한 지속적 자기진화 구현
• 과거 협상 및 행동 기록을 저장하고 검색하여 향후 의사결정에 영향을 주고 반성적 학습을 지원하는 기억 모듈 활용
• GPT-4.0 및 Llama 3와 같은 다양한 LLM과 호환 가능한 모듈식 구성 요소를 통합하여 LLM과의 통합 및 맞춤형 미세조정 또는 교체 가능 설계
• 과거 결과 및 경험을 기반으로 전략을 조정하기 위해 스스로의 결정을 반성하는 평가 메커니즘 통합

실험 결과

연구 질문

• RQ1 인간이 애너테이션한 협상 데이터 없이 LLM 기반 에이전트가 복잡한 다중 에이전트 환경에서 인간 수준의 외교적 추론을 달성할 수 있는가?
• RQ2 자기 연습이 자가진화형 AI 외교 에이전트 학습을 위한 고품질 경험을 얼마나 효과적으로 생성하는가?
• RQ3 기억 및 반성 메커니즘이 다중 에이전트 게임에서 장기적 전략 계획 및 사회적 추론 능력을 얼마나 향상시킬 수 있는가?
• RQ4 GPT-4.0 및 Llama 3와 같은 다양한 LLM 아키텍처로의 일반화 능력은 어떠한가?
• RQ5 대규모 인간 시연 데이터에 의존하지 않고도 Cicero와 같은 최신 기술 기반 에이전트를 딜로마시에서 능가할 수 있는가?

주요 결과

• Richelieu는 제로샷 평가에서 Cicero와의 대결에서 44.4%의 승률을 기록했으며, Cicero의 94.6%의 패배율에 비해 뚜렷한 슈퍼리어리티 확보
• 모든 네 가지 동맹 조건을 충족했을 때 협상 성공률이 39.5%로 나타나 Cicero의 87.5% 패배율에 비해 뛰어난 성과 기록
• 제거 실험을 통해 기억, 반성 및 자기 연습의 조합이 성능 향상에 필수적임을 확인하였으며, 각 구성 요소가 전략적 일관성과 적응 능력 향상에 기여함
• GPT-4.0 및 Llama 3를 포함한 다양한 LLM 아키텍처로의 일반화 성능이 뛰어나 일관된 성능 향상 기록
• 예시 사례에서 Richelieu는 미래의 위협에 대비해 동맹을 체결하고, 영국의 위조 동맹 제안과 같은 기만 행위를 탐지하여 전략적 우위 확보
• 자기 연습을 통한 자기진화 메커니즘 덕분에 인간의 애너테이션 데이터 없이도 복잡한 장기 전략을 개발할 수 있었으며, 자율 에이전트 진화의 실현 가능성 입증