[논문 리뷰] Learning to Play No-Press Diplomacy with Best Response Policy Iteration

Thomas Anthony, Tom Eccles외 12명|arXiv (Cornell University)|2020. 06. 08.

Artificial Intelligence in Games참고 문헌 108인용 수 18

한 줄 요약

이 논문은 표본화된 최적 반응(Sampled Best Responses, SBR)을 사용하는 새로운 정책 반복 프레임워크를 제안하여, 7명의 플레이어가 동시에 움직이는 대규모 조합적 행동 공간을 가진 어려운 게임인 노프레스 딜로마시를 위한 딥 강화학습 에이전트를 훈련한다. 이 방법은 이전 최고 성능의 에이전트들보다 뛰어난 성능을 달성하였으며, 자가 대결 및 인구 기반 평가에서 일관된 향상을 보이며, 게임 이론적 분석을 통해 노출 가능성 감소를 확인하였다.

ABSTRACT

Recent advances in deep reinforcement learning (RL) have led to considerable progress in many 2-player zero-sum games, such as Go, Poker and Starcraft. The purely adversarial nature of such games allows for conceptually simple and principled application of RL methods. However real-world settings are many-agent, and agent interactions are complex mixtures of common-interest and competitive aspects. We consider Diplomacy, a 7-player board game designed to accentuate dilemmas resulting from many-agent interactions. It also features a large combinatorial action space and simultaneous moves, which are challenging for RL algorithms. We propose a simple yet effective approximate best response operator, designed to handle large combinatorial action spaces and simultaneous moves. We also introduce a family of policy iteration methods that approximate fictitious play. With these methods, we successfully apply RL to Diplomacy: we show that our agents convincingly outperform the previous state-of-the-art, and game theoretic equilibrium analysis shows that the new process yields consistent improvements.

연구 동기 및 목표

• Diplomacy와 같이 대규모 조합적 행동 공간과 동시에 움직임을 가지는 다중 에이전트 게임에 대해 확장 가능한 강화학습 접근법을 개발하는 것.
• 협력과 경쟁이 공존하는 비제로섬, 다수 플레이어 게임에서 이전 강화학습 방법의 한계를 해결하는 것.
• Diplomacy의 행동 공간 복잡성과 턴 기반 동시성에 효과적으로 대응할 수 있는 근사 최적 반응 연산자 설계.
• 다중 에이전트 환경에서 허구적 플레이와 반복 최적 반응을 근사하는 정책 반복 방법 적용.
• 자기 대결 및 인구 기반 평가를 통한 성능 향상에 의해 방법의 우수성을 실증적으로 검증하는 것.

제안 방법

• 대규모 조합적 행동 공간과 동시에 움직임에 특화된 확장 가능한 근사 최적 반응 연산자인 표본화된 최적 반응(SBR)을 제안.
• 다중 에이전트 환경에서 허구적 플레이와 반복 최적 반응을 근사하는 정책 반복 변형을 도입.
• 인간 플레이 데이터셋에서의 모방 학습을 통해 초기화된 그래프 신경망(GNN)을 사용하여 게임 상태와 정책을 표현.
• 탐색과 안정성을 장려하기 위해 엔트로피 정규화를 적용한 정규화된 정책 최적화 목표 함수를 사용.
• 수렴성과 노출 가능성 향상 평가를 위해 게임 이론적 균형 분석을 적용.
• 소수의 샘플을 사용한 노출 가능성 측정 기준을 도입하여 에이전트의 노출 가능성 감소를 정량화.

실험 결과

연구 질문

• RQ1 표본화된 최적 반응 기반 정책 반복 프레임워크는 대규모 조합적 행동 공간과 동시에 움직임을 가진 7명 플레이어의 No-Press Diplomacy에 대해 딥 강화학습을 성공적으로 적용할 수 있는가?
• RQ2 제안된 SBR 기반 정책 반복 프레임워크는 Diplomacy에서 이전 최고 성능의 에이전트들보다 일관된 성능 향상을 이끌어내는가?
• RQ3 소수의 샘플을 사용한 노출 가능성 측정 기준으로 측정했을 때, 이 방법은 노출 가능성의 감소를 어느 정도 달성하는가?
• RQ4 다수 플레이어, 혼합 동기 환경에서 정책 반복 방법은 허구적 플레이와 반복 최적 반응을 어느 정도 잘 근사하는가?
• RQ5 이전 강화학습 미세조정 실패에도 불구하고, 모방 학습과 SBR 기반 정책 반복의 조합이 Diplomacy에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 에이전트는 헤드투헤드 대결과 인구 기반 평가에서 이전 최고 성능의 DipNet 에이전트를 뛰어나게 성능을 높였다.
• 게임 이론적 균형 분석에서 일관된 향상을 달성하여, 노출 가능성 감소와 더 견고한 전략적 행동을 나타냈다.
• 소수의 샘플을 사용한 노출 가능성 측정 기준에 따르면, 강화학습 에이전트는 이전 방법보다 상당히 덜 노출 가능했지만 여전히 상당한 노출 가능성은 유지되었다.
• Diplomacy의 게임 트리 크기 추정치는 평균 게임당 약 $10^{896.8}$이며, 가장 큰 이동 단계에서는 $10^{64.3}$개의 유효한 공동 행동이 존재한다.
• 이론적 수렴 결과가 부록에 제시된 바와 같이, 이 방법은 다중 에이전트 환경에서 안정된 정책으로 수렴한다.
• SBR 연산자는 대규모 행동 공간과 동시에 움직임을 효과적으로 처리하여, 복잡한 다중 에이전트 환경에서의 확장 가능한 정책 학습을 가능하게 하였다.