[논문 리뷰] A Unified Approach to Reinforcement Learning, Quantal Response Equilibria, and Two-Player Zero-Sum Games

Samuel Sokota, Ryan D'Orazio외 6명|arXiv (Cornell University)|2022. 06. 12.

Experimental Behavioral Economics Studies인용 수 6

한 줄 요약

이 논문은 두 명의 플레이어가 참여하는 0합 게임에서 강화 학습과 균형 계산을 통합하는 데 사용할 수 있는 유일한 알고리즘인 자기장 미러 경사법(Magnetic Mirror Descent, MMD)을 소개한다. MMD는 1차 피드백을 사용할 때 광범위한 형식 게임에서 양자적 반응 균형(Quantal Response Equilibria, QREs)으로 선형 수렴을 달성하며, 표 형태 환경에서 대조적 위험 최소화(Counterfactual Regret Minimization, CFR)와 경쟁 가능한 성능을 보이며, 3x3 Dark Hex와 Phantom Tic-Tac-Toe와 같은 딥 강화 학습 환경에서도 뛰어난 성능을 보인다.

ABSTRACT

This work studies an algorithm, which we call magnetic mirror descent, that is inspired by mirror descent and the non-Euclidean proximal gradient algorithm. Our contribution is demonstrating the virtues of magnetic mirror descent as both an equilibrium solver and as an approach to reinforcement learning in two-player zero-sum games. These virtues include: 1) Being the first quantal response equilibria solver to achieve linear convergence for extensive-form games with first order feedback; 2) Being the first standard reinforcement learning algorithm to achieve empirically competitive results with CFR in tabular settings; 3) Achieving favorable performance in 3x3 Dark Hex and Phantom Tic-Tac-Toe as a self-play deep reinforcement learning algorithm.

연구 동기 및 목표

• 단일 알고리즘 프레임워크를 통해 두 명의 플레이어가 참여하는 0합 게임에서 강화 학습과 균형 계산을 통합하는 것.
• 광범위한 형식 게임에서 QRE를 해결하기 위한 1차 방법에 대해 처음으로 선형 수렴 보장을 제공하는 것.
• 자연스러운 강화 학습 알고리즘이 자가 대결(self-play) 환경에 적용되었을 때, 표 형태의 두 명의 플레이어 0합 게임에서 CFR와 경쟁 가능한 성능을 달성할 수 있음을 보여주는 것.
• MMD를 복잡하고 관찰 가능성이 제한된 불완전 정보 게임에서의 딥 강화 학습 알고리즘으로 평가하는 것.
• MMD, 미러 경사법, 그리고 게임 이론적 환경에서의 변분부등식 문제 간의 이론적이고 경험적인 연결 고리를 확립하는 것.

제안 방법

• MMD는 비유클리드 프락시멀 그라디언트 방법에서 유도되며, 프락시멀 정규화와 학습 안정화를 위한 '자기장' 항을 추가한 미러 경사법의 확장이다.
• 알고리즘은 순서 형식 표현을 사용하여 광범위한 형식 게임에서 QRE 계산을 변분부등식 문제로 모델링한다.
• MMD는 엔트로피 정규화와 후행 KL 발산 정규화를 통합하며, KL-PPO와 유사하지만 역방향 KL과 명시적 엔트로피 보너스를 사용하는 점에서 다름을 보인다.
• 1차 피드백을 사용하여 이전 방법들인 CFR나 NFSP에서 사용하는 최적 대응 또는 중요도 샘플링 서브루틴이 필요 없도록 한다.
• 균일한 자기장과 음의 엔트로피 미러 맵을 사용하여 정책 비율과 이득 추정을 통해 안정적인 정책 갱신을 가능하게 한다.
• 딥 RL 환경에서는 역사적 정책의 평균화 없이 자가 대결에 MMD를 적용하여 3x3 Dark Hex와 같은 게임에서의 탐색 가능성 최소화를 달성한다.

실험 결과

연구 질문

• RQ1 1차 피드백만을 사용하여 광범위한 형식 게임에서 QRE로의 선형 수렴을 달성할 수 있는 단일 알고리즘이 존재하는가?
• RQ2 표 형태의 두 명의 플레이어 0합 게임에서 표준 강화 학습 알고리즘이 CFR의 성능을 따라할 수 있는가?
• RQ3 MMD는 대규모의 불완전 정보 게임에서 딥 강화 학습으로 효과적으로 일반화되는가?
• RQ4 MMD가 후행 KL과 엔트로피 정규화를 사용하는 것과 비교해 전방향 KL 방법인 KL-PPO와의 훈련 안정성 및 수렴성에서 어떤 차이를 보이는가?
• RQ5 정책 평균화나 궤적 중요도 샘플링에 의존하지 않고도 MMD가 3x3 Dark Hex와 Phantom Tic-Tac-Toe와 같은 복잡한 게임에서 탐색 가능성을 최소화할 수 있는가?

주요 결과

• MMD는 정규형 및 광범위한 형식 게임 모두에서 QRE로 선형 수렴을 달성하며, 이는 EFG에서 1차 방법으로서 처음으로 이루어진 결과이다.
• 표 형태 벤치마크에서 MMD는 CFR와 동등한 성능을 보이며, 3x3 Dark Hex에서 최종 탐색 가능성은 -36±2, Phantom Tic-Tac-Toe에서는 -57±0을 기록한다.
• 경험적으로 MMD는 행동가치 피드백을 사용할 때 에이전트 QRE(AQRE)로 수렴함을 확인하여 이론적 기반인 QRE 계산의 타당성을 검증한다.
• MMD는 3x3 Dark Hex에서 NFSP보다 뛰어난 성능을 보이며, 탐색 가능성 -36±2를 기록한 반면 NFSP는 -41±10을 기록한다. Phantom Tic-Tac-Toe에서도 뛰어난 성능을 보였다.
• 정책 평균화나 중요도 샘플링 없이도 딥 RL 환경에서 탐색 가능성을 성공적으로 최소화하여 복잡한 게임으로의 확장성을 입증한다.
• 이론적 분석을 통해 MMD가 복합적인 구조를 가진 변분부등식 문제를 해결함으로써, EFG에서 QRE의 수렴 보장을 가능하게 한다.