[논문 리뷰] Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning

Anton Bakhtin, David Wu외 6명|arXiv (Cornell University)|2022. 10. 11.

Artificial Intelligence in Games인용 수 10

한 줄 요약

이 논문은 인간 규제 계획을 통해 자가대결 강화학습 프레임워크인 RL-DiL-piKL을 소개한다. 이는 협동-경쟁 게임에서 인간과 함께 강력한 성능을 발휘하는 에이전트를 훈련시키는 데 목적이 있다. 200판의 무압력 다이플로마시 게임 대회에서, 이 방법으로 훈련된 두 개의 Diplodocus 에이전트는 평균 점수가 가장 높았고, 전체 순위에서 1위와 3위를 기록하여, 두 번 이상 플레이한 모든 인간 플레이어를 압도했다.

ABSTRACT

No-press Diplomacy is a complex strategy game involving both cooperation and competition that has served as a benchmark for multi-agent AI research. While self-play reinforcement learning has resulted in numerous successes in purely adversarial games like chess, Go, and poker, self-play alone is insufficient for achieving optimal performance in domains involving cooperation with humans. We address this shortcoming by first introducing a planning algorithm we call DiL-piKL that regularizes a reward-maximizing policy toward a human imitation-learned policy. We prove that this is a no-regret learning algorithm under a modified utility function. We then show that DiL-piKL can be extended into a self-play reinforcement learning algorithm we call RL-DiL-piKL that provides a model of human play while simultaneously training an agent that responds well to this human model. We used RL-DiL-piKL to train an agent we name Diplodocus. In a 200-game no-press Diplomacy tournament involving 62 human participants spanning skill levels from beginner to expert, two Diplodocus agents both achieved a higher average score than all other participants who played more than two games, and ranked first and third according to an Elo ratings model.

연구 동기 및 목표

• 자기대결 강화학습이 인간이 참여하는 협동-경쟁 게임에서 인간의 관례와 일치하지 않는다는 한계를 해결하기 위해.
• 보상 최적화 정책이 인간의 모방 행동으로 정규화되는 계획 알고리즘을 개발하여 인간 동료와의 일반화 능력을 향상시키기 위해.
• 이 정규화를 자가대결 강화학습 프레임워크에 통합하여 동시에 인간 같은 협업 전략과 강력한 전략적 플레이를 학습하도록 하기 위해.
• 실제 인간 플레이어와의 성능을 측정하기 위해 대규모이고 다양한 인간 참가자들이 참여한 대회에서 결과 에이전트인 Diplodocus를 평가하기 위해.

제안 방법

• 고정된 정규화 파라미터 λ 대신 λ 값에 대한 확률 분포를 사용하는 계획 알고리즘인 DiL-piKL을 제안하여, 추론 시 인간 행동을 더 견고하게 모방할 수 있도록 한다.
• DiL-piKL과 정책 및 가치 함수 훈련을 결합한 자가대결 강화학습 알고리즘인 RL-DiL-piKL을 도입하여, 에이전트가 강력한 플레이 전략과 인간 친화적인 협업 전략을 동시에 학습할 수 있도록 한다.
• 액션 선택을 위해 LSTM 헤드를 갖춘 트랜스포머 기반 정책 네트워크를 사용하며, 자가대결과 인간 데이터의 커리큘럼을 통해 액터-크리틱 강화학습으로 훈련한다.
• 후회 최소화와 나시 균형 계산 기반의 검색 알고리즘을 사용하며, DiL-piKL을 통해 탐색과 인간 관례 모방 간의 균형을 향상시킨다.
• DiL-piKL이 이 설정 하에서 무후회 학습 알고리즘이라는 것을 증명하기 위해 수정된 유틸리티 함수를 적용하여 최적 행동으로의 수렴을 보장한다.
• 안정성과 성능을 고려해 학습률, 배치 크기, 검색 반복 횟수 등 하이퍼파라미터를 조정하여 Diplodocus 에이전트를 RL-DiL-piKL로 훈련시킨다.

실험 결과

연구 질문

• RQ1 인간 규제 계획을 적용한 강화학습 에이전트가 인간과 협동-경쟁 게임을 플레이할 때 순수 자가대결 에이전트보다 뛰어난 성능을 보일 수 있는가?
• RQ2 계획 단계에 인간 모방을 통합할 경우, 복잡한 협업 요구 사항을 가진 다중에이전트 게임에서 에이전트 성능이 크게 향상되는가?
• RQ3 인간 행동 모델을 통합한 자가대결 강화학습 프레임워크가 무압력 다이플로마시에서 초인간 수준의 성능을 달성하면서도 인간 동료와 효과적으로 협력할 수 있는가?
• RQ4 DiL-piKL은 휴머니티 학습된 정책과 RL로 훈련된 정책에 적용했을 때, Hedge나 RM과 같은 기준 검색 방법과 비교해 성능 면에서 어떻게 다른가?
• RQ5 결과로 도출된 에이전트가 실제 인간 대회에서 인간의 관례와 전략적 기준을 어느 정도 반영하고 있는가?

주요 결과

• 200판의 무압력 다이플로마시 대회에서, 두 개의 Diplodocus 에이전트는 두 번 이상 플레이한 48명의 참가자 중 평균 점수가 가장 높았다.
• BayesElo 레이팅 모델에 따르면, Diplodocus 에이전트는 전체 순위에서 1위와 3위를 기록하여, 두 번 이상 플레이한 모든 인간 플레이어를 능가했다.
• DiL-piKL은 순수 인간 모방 학습 정책에는 성능 향상이 없었지만, RL-DiL-piKL로 훈련된 정책에 적용했을 때만 뚜렷한 성능 향상을 보였으며, 이는 이 방법이 인간 규제 강화학습과 함께 훈련되어야 한다는 것을 시사한다.
• 시작 국가에 대한 경험적 엘로 편향 값(예: 프랑스 +59, 오스트리아 -24)이 전문가의 공감과 밀도 있게 일치하여, 모델이 게임 내 역학과 시작 위치의 우위를 잘 포착하고 있음을 검증했다.
• DiL-piKL에서 λ 파라미터의 분포를 사용함으로써 고정된 λ 대비 더 안정적이고 효과적인 계획이 가능했으며, 특히 복잡한 협업 시나리오에서 두드러졌다.
• 결과적으로 인간 규제 계획은 대규모 자가대결 데이터가 존재하더라도 인간-다중에이전트 상호작용에서 강력한 성능을 달성하기 위해 필수적임을 보여주었다.