[논문 리뷰] No Press Diplomacy: Modeling Multi-Agent Gameplay

Philip Paquette, Yuchen Lu외 7명|arXiv (Cornell University)|2019. 09. 04.

Opinion Dynamics and Social Influence인용 수 15

한 줄 요약

이 논문은 150,000개의 인간 게임을 바탕으로 지도 학습으로 훈련하고, 자기 플레이 강화 학습으로 미세 조정한 신경망 기반 정책 모델인 DipNet를 소개한다. 이 모델은 상태최고성능(SOTA)을 달성하며, 지원 명령을 통해 효과적인 전술적 협력과 협동을 보여준다.

ABSTRACT

Diplomacy is a seven-player non-stochastic, non-cooperative game, where agents acquire resources through a mix of teamwork and betrayal. Reliance on trust and coordination makes Diplomacy the first non-cooperative multi-agent benchmark for complex sequential social dilemmas in a rich environment. In this work, we focus on training an agent that learns to play the No Press version of Diplomacy where there is no dedicated communication channel between players. We present DipNet, a neural-network-based policy model for No Press Diplomacy. The model was trained on a new dataset of more than 150,000 human games. Our model is trained by supervised learning (SL) from expert trajectories, which is then used to initialize a reinforcement learning (RL) agent trained through self-play. Both the SL and RL agents demonstrate state-of-the-art No Press performance by beating popular rule-based bots.

연구 동기 및 목표

• 인간의 플레이를 통해 학습하고 명시적 의사소통 없이도 작동하는 완전한 엔드 투 엔드 신경망 정책을 개발하는 것.
• 전문가 트레이젝터리에서의 지도 학습이 비협력적이고 고위험 다중에이전트 환경에서 자율 학습 강화 학습보다 더 협력적인 에이전트를 생성할 수 있는지 평가하는 것.
• 자기 플레이와 전문가 모방 훈련에서 협동이 어떻게 발생하는지 분석하는 것, 특히 교차 파워 지원 명령을 중심으로.
• 복잡한 행동 공간을 가진 풍부한 순차적 사회적 딜레마에서 동적 협동의 기준점으로 다이플로마시를 설정하는 것.

제안 방법

• 150,000개 이상의 인간 플레이된 No Press 다이플로마 게임으로 구성된 새로운 데이터셋을 사용하여 전문가 트레이젝터리에서의 지도 학습을 통해 딥 네ural 네트워크 정책(DipNet)을 훈련하는 것.
• 자기 플레이를 통한 강화 학습 에이전트를 지도 학습 정책을 온전한 초기화로 사용하여 샘플 효율성과 수렴 속도를 향상시키는 것.
• 장기적 의존성과 지원 명령 예측을 모델링하기 위해 피림 조절(FiLM) 조건화와 마스크된 디코더 헤드를 갖춘 트랜스포머 기반 아키텍처를 설계하는 것.
• 재현 가능한 평가와 토너먼트 형식의 벤치마킹을 가능하게 하기 위해 DAIDE와 호환되는 맞춤형 게임 엔진을 구현하는 것.
• 라운드 로빈 토너먼트 형식에서 에이전트의 순위를 매기기 위해 TrueSkill를 사용하여 성능의 통계적 비교를 가능하게 하는 것.
• 협동 빈도와 효율성을 측정하기 위해 X-support-ratio 및 유효 X-support-ratio를 활용한 연합 분석을 수행하는 것.

실험 결과

연구 질문

• RQ1 인간 플레이를 기반으로 훈련된 신경망 정책이 명시적 의사소통 없이도 룰 기반 봇보다 다이플로마에서 승리할 수 있는가?
• RQ2 특히 지원 명령 조율 측면에서, 전문가 트레이젝터리에서의 지도 학습과 자기 플레이 강화 학습 간의 협동 행동 촉진 능력은 어떻게 비교되는가?
• RQ3 아키텍처 설계(예: FiLM, 체스판 상태 인코딩)가 효과적인 교차 파워 지원 명령 예측 능력에 얼마나 영향을 미치는가?
• RQ4 No Press 다이플로마에서 명시적 의사소통이 없는 상황에서 협동이 자생적으로 발생하는가, 그리고 이를 정량적으로 측정할 수 있는가?

주요 결과

• 지도 학습(SL) 에이전트는 자기 플레이 강화 학습(RL) 에이전트보다 더 높은 유효한 교차 파워 지원 비율(10.2%)을 기록하여 더 효과적인 협동을 보였다.
• TrueSkill 점수는 유사했지만, RL 에이전트는 SL 에이전트보다 더 많은 교차 파워 지원 명령(9.1%)을 내보냈지만 효율성이 낮아, 협동의 빈도와 유용성 사이의 상충 관계를 보였다.
• 제거 실험 결과, FiLM 조건화를 제거하면 유효한 협동이 감소하여, 맥락 인식 지원 결정을 모델링하는 데 있어 FiLM의 중요성을 확인했다.
• 보드 상태 입력이 없는 마스크된 디코더 버전은 가장 높은 X-support-ratio(12.1%)를 기록했지만 유효 협동은 근처 0.62%에 머물러, 순수한 지원 빈도가 전략적 유용성을 의미하지는 않음을 입증했다.
• SL 에이전트는 토너먼트 플레이에서 모든 룰 기반 베이스라인을 압도하며, No Press 환경에서 최고 성능을 보였다.
• 헤드 투 헤드 매치에서 RL 에이전트는 SL 에이전트보다 일관된 승리율 우위를 보였으며, 더 나은 일반화 능력을 보였지만 협동 능력은 열 劣했다.