[논문 리뷰] Human-Level Performance in No-Press Diplomacy via Equilibrium Search

Jonathan Gray, Adam Lerer외 2명|arXiv (Cornell University)|2020. 10. 06.

Artificial Intelligence in Games참고 문헌 39인용 수 10

한 줄 요약

이 논문은 인간 플레이의 감독적 임itation 학습과 이론적 손실 최소화를 통한 한 단계 앞서보기 탐색을 조합하여 인간 수준의 성능을 달성한 압력이 없는 다이플로마시(No-Press Diplomacy) AI 에이전트를 제시한다. 이 에이전트는 이전의 봇들을 능가하며 전문가 인간의 착취에도 저항하며, 공개된 다이플로마시 플랫폼에서 인간 플레이어 상위 2%에 랭크되어 협력과 경쟁이 혼합된 다중 에이전트 환경에서의 돌풍을 일으킨다.

ABSTRACT

Prior AI breakthroughs in complex games have focused on either the purely adversarial or purely cooperative settings. In contrast, Diplomacy is a game of shifting alliances that involves both cooperation and competition. For this reason, Diplomacy has proven to be a formidable research challenge. In this paper we describe an agent for the no-press variant of Diplomacy that combines supervised learning on human data with one-step lookahead search via regret minimization. Regret minimization techniques have been behind previous AI successes in adversarial games, most notably poker, but have not previously been shown to be successful in large-scale games involving cooperation. We show that our agent greatly exceeds the performance of past no-press Diplomacy bots, is unexploitable by expert humans, and ranks in the top 2% of human players when playing anonymous games on a popular Diplomacy website.

연구 동기 및 목표

• 압력이 없는 다이플로마시에서 인간 수준의 성능을 달성할 수 있는 AI 에이전트를 개발하는 것.
• 이전에 두 명의 플레이어가 참여하는 제로섬 게임(예: 포커)에서 성공한 이론적 손실 최소화 기법을 다수의 에이전트가 참여하는 대규모 혼합 동기 게임으로 확장하는 것.
• 감독적 정책 학습과 균형 상태 탐색의 하이브리드 접근 방식이 실제 다중 에이전트 환경에서 강력하고 착취되지 않는 정책을 생성할 수 있는지 평가하는 것.
• 이 에이전트가 이전의 압력이 없는 다이플로마시 봇들을 능가하고 익명의 온라인 플레이에서 뛰어난 성과를 내는지 보여주는 것.

제안 방법

• 에이전트는 인간 플레이어의 15만 판의 다이플로마시 게임 데이터셋을 기반으로 감독적 학습을 통해 훈련된 블루프린트 정책을 사용하여 전문가 행동을 근사한다.
• 게임 플레이 중, 에이전트는 현재 게임 상태에 대해 이론적 손실 최소화(Regret Matching, RM)를 사용하여 근사적인 내쉬 균형을 계산함으로써 한 단계 앞서보기 탐색을 수행한다.
• 모든 플레이어(에이전트 포함)가 게임의 나머지 부분 동안 블루프린트 정책을 따를 것이라는 가정 하에 균형을 계산한다.
• 계산 복잡도를 관리하기 위해, 모든 가능한 행동을 탐색하는 대신 블루프린트 정책에서 행동을 샘플링한다.
• 이론적 손실 최소화는 실시간으로 에이전트의 정책을 개선하여 전체 재계획 없이도 전략적 결정을 향상시킨다.
• 이 방법은 감독적 정책 학습을 정책 초기화에 사용하고, 불확실성 하에서의 동적 결정을 위해 균형 상태 탐색을 적용한다.

실험 결과

연구 질문

• RQ1 이론적 손실 최소화 기법이 이전에 두 명의 플레이어가 참여하는 제로섬 게임에서 효과적이었듯이, 대규모 혼합 동기 게임인 압력이 없는 다이플로마시에 성공적으로 적용될 수 있는가?
• RQ2 감독적 학습과 균형 상태 탐색의 하이브리드 접근 방식이 동맹 관계가 변화하는 복잡한 다중 에이전트 환경에서 인간 수준의 성능을 내는 정책을 생성할 수 있는가?
• RQ3 반복적인 플레이에서 전문가 인간 플레이어에 의해 착취되는 정도는 어느 정도인가?
• RQ4 이 에이전트의 성능이 실제 온라인 환경에서 이전의 압력이 없는 다이플로마시 봇들과 비교해 어떻게 되는가?

주요 결과

• 에이전트는 경쟁적 및 협력적 상황에서 모두 이전의 모든 압력이 없는 다이플로마시 봇들을 뛰어넘는 성능을 보였다.
• 반복적인 플레이 후에도 전문가 인간 플레이어에 의해 착취되지 않아 안정적인 전략적 행동을 보였다.
• 인기 있는 다이플로마시 웹사이트에서 익명의 온라인 게임에서 에이전트는 인간 플레이어 상위 2%에 랭크되어 인간 수준의 성능을 입증했다.
• 에이전트의 성능은 특히 안정적인 동맹 유지와 착취 가능한 실수 방지 측면에서 이전의 에이전트를 뛰어넘었다.
• 에이전트는 방어에서 공격으로의 전략적 전환과 같은 복잡한 전환 상황에서도 고위험 상황에서 최소한의 실수로 성공적으로 대처했다.
• 에이전트의 전략적 결정은 독립적인 게임 리뷰에서 높은 평가를 받았으며, 정확하고 고수 수준의 플레이를 펼친 한 판에서는 완벽한 10/10 평점을 받았다.