[논문 리뷰] A Generalized Training Approach for Multiagent Learning

Paul Müller, Shayegan Omidshafiei외 13명|arXiv (Cornell University)|2019. 09. 27.

Reinforcement Learning in Robotics참고 문헌 45인용 수 22

한 줄 요약

이 논문은 일반합, 다수 플레이어 게임에서 계산이 불가능한 내쉬 균형을 대체하기 위해 메타솔버로 α-랭크를 사용하는 다중에 agen트 강화학습을 위한 일반화된 훈련 프레임워크를 제안한다. Policy-Space Response Oracles(PSRO)를 기반으로 하며, 일반합, 다수 플레이어 게임에서 수렴 보장을 확립하고, 3~5명 플레이어 포커 및 MuJoCo 축구에서 더 빠른 수렴 속도와 경쟁 가능한 성능을 보이며, 내쉬 기반 PSRO와 균일 샘플링보다 우수한 경험적 성능을 보인다.

ABSTRACT

This paper investigates a population-based training regime based on game-theoretic principles called Policy-Spaced Response Oracles (PSRO). PSRO is general in the sense that it (1) encompasses well-known algorithms such as fictitious play and double oracle as special cases, and (2) in principle applies to general-sum, many-player games. Despite this, prior studies of PSRO have been focused on two-player zero-sum games, a regime wherein Nash equilibria are tractably computable. In moving from two-player zero-sum games to more general settings, computation of Nash equilibria quickly becomes infeasible. Here, we extend the theoretical underpinnings of PSRO by considering an alternative solution concept, $α$-Rank, which is unique (thus faces no equilibrium selection issues, unlike Nash) and applies readily to general-sum, many-player settings. We establish convergence guarantees in several games classes, and identify links between Nash equilibria and $α$-Rank. We demonstrate the competitive performance of $α$-Rank-based PSRO against an exact Nash solver-based PSRO in 2-player Kuhn and Leduc Poker. We then go beyond the reach of prior PSRO applications by considering 3- to 5-player poker games, yielding instances where $α$-Rank achieves faster convergence than approximate Nash solvers, thus establishing it as a favorable general games solver. We also carry out an initial empirical validation in MuJoCo soccer, illustrating the feasibility of the proposed approach in another complex domain.

연구 동기 및 목표

• 내쉬 균형의 계산이 불가능하고 일반합, 다수 플레이어 게임에서 균형 선택 문제를 야기하는 PSRO의 한계를 극복하기 위해.
• α-랭크를 사용하여 내쉬 균형 기반의 PSRO를 두 플레이어 제로섬 게임을 초월한 일반합, 다수 플레이어 환경으로 확장하기 위해.
• 다양한 게임 유형에서 α-랭크를 메타솔버로 사용할 경우 PSRO의 이론적 수렴 보장을 확립하기 위해.
• 복잡한 환경인 3~5명 플레이어 포커 및 MuJoCo 축구에서 제안된 방법의 실현 가능성과 성능 향상을 경험적으로 검증하기 위해.
• α-랭크 기반 PSRO를 내쉬 기반 PSRO 및 균일 샘플링과 비교하여 수렴 속도 향상과 효과성 향상을 입증하기 위해.

제안 방법

• PSRO에서 내쉬 균형을 대체하여 α-랭크를 메타솔버로 채택하여 일반합, 다수 플레이어 게임에서 확장 가능한 훈련을 가능하게 한다.
• 특정 게임 유형에서 α-랭크 분포로 수렴을 보장하는 새로운 최적 반응 메커니즘을 정의한다.
• 두 수준으로 구성된 계층적 훈련 파이프라인을 구축한다: 팀당 32개의 에이전트에 대한 저수준 RL 훈련과 시뮬레이션된 팀 대결을 이용한 고수준 메타게임 구축.
• 불확실성 인식형 진입 수(각 항목당 10~100회 시뮬레이션)를 사용하여 메타게임 수익 행렬을 적응적으로 추정한다.
• 각 PSRO 반복에서 α-랭크 또는 내쉬 평균 점수 기반으로 상위 10%의 RL 에이전트(플레이어당 3명)를 선별하여 정책 풀을 업데이트한다.
• 훈련 단계의 50%를 자가대전(자기 자신과의 대결)과 정책 풀 기반 상대 샘플링을 결합하여 정책 다양성과 내성 강도를 향상시킨다.

실험 결과

연구 질문

• RQ1 내쉬 균형이 계산이 불가능한 일반합, 다수 플레이어 게임에서 α-랭크 기반 PSRO는 수렴 가능한가?
• RQ2 두 플레이어 게임에서 α-랭크 기반 PSRO는 내쉬 기반 PSRO와 수렴 속도 및 성능 측면에서 어떻게 비교되는가?
• RQ3 내쉬 솔버가 비실용적인 3~5명 플레이어 포커 게임에서 α-랭크 기반 PSRO는 효과적으로 확장 가능한가?
• RQ4 MuJoCo 축구와 같은 복잡한 다중에 agen트 환경에서 α-랭크 기반 PSRO는 균일 샘플링 또는 무작위 상대 선택보다 우수한가?
• RQ5 α-랭크, 내쉬 균형, 그리고 PSRO에서의 투영 복제 역동성 간의 이론적 연관성은 무엇인가?

주요 결과

• 2명 플레이어 Kuhn 포커 및 Leduc 포커에서 α-랭크 기반 PSRO는 정확한 내쉬 솔버 기반 PSRO와 경쟁 가능한 성능을 달성하여 이중 플레이어 환경에서의 효과성을 입증한다.
• 3~5명 플레이어 포커 게임에서 α-랭크 기반 PSRO는 근사 내쉬 솔버보다 더 빠른 수렴 속도를 보이며, 더 큰 복잡도를 지닌 게임에서의 확장성 우수성을 입증한다.
• 3vs3 MuJoCo 축구에서 PSRO(α-랭크, RL)는 PSRO(균일, RL)를 상당히 능가하며, 훈련 후 평가에서 더 높은 승률을 기록한다.
• MuJoCo 축구에서 메타게임에 대한 α-랭크 분포는 명확한 성능 계층을 보이며, 효과적인 정책 선별과 인구 진화를 나타낸다.
• 2vs2 MuJoCo 축구에서 α-랭크 기반 PSRO는 자가대전 베이스라인을 능가하며, 체계적인 메타솔버 선택이 균일 샘플링보다 훈련을 향상시킨다는 것을 시사한다.
• 경험적 결과는 제안된 최적 반응 메커니즘이 무작위로 생성된 일반합 게임에서 α-랭크 분포로 수렴함을 확인하여 이론적 주장의 타당성을 뒷받침한다.