[論文レビュー] A Unified Approach to Reinforcement Learning, Quantal Response Equilibria, and Two-Player Zero-Sum Games

Samuel Sokota, Ryan D'Orazio+6 more|arXiv (Cornell University)|Jun 12, 2022

Experimental Behavioral Economics Studies被引用数 6

ひとこと要約

本稿では、2人ゼロ和ゲームにおける強化学習と均衡計算を統合するためのアルゴリズムであるMagnetic Mirror Descent (MMD)を提案する。MMDは、1次フィードバックのもとで拡張形ゲームにおける数量応答均衡（QRE）へ線形収束を達成し、表形式設定においてCounterfactual Regret Minimization (CFR)と同等の性能を示す一方で、3x3 Dark Hex や Phantom Tic-Tac-Toe といったディープ強化学習環境でも優れた結果を示している。

ABSTRACT

This work studies an algorithm, which we call magnetic mirror descent, that is inspired by mirror descent and the non-Euclidean proximal gradient algorithm. Our contribution is demonstrating the virtues of magnetic mirror descent as both an equilibrium solver and as an approach to reinforcement learning in two-player zero-sum games. These virtues include: 1) Being the first quantal response equilibria solver to achieve linear convergence for extensive-form games with first order feedback; 2) Being the first standard reinforcement learning algorithm to achieve empirically competitive results with CFR in tabular settings; 3) Achieving favorable performance in 3x3 Dark Hex and Phantom Tic-Tac-Toe as a self-play deep reinforcement learning algorithm.

研究の動機と目的

• 2人ゼロ和ゲームにおける強化学習と均衡計算を、1つのアルゴリズムフレームワークで統合すること。
• 拡張形ゲームにおける数量応答均衡（QRE）を解くための1次法において、初めての線形収束保証を提供すること。
• 自己対戦における標準的強化学習アルゴリズムが、表形式設定でCFRと同等の性能を達成できることを示すこと。
• MMDを、観察限界がある複雑な不完全情報ゲームにおけるディープ強化学習アルゴリズムとして評価すること。
• MMD、ミラー降下、およびゲーム理論的設定における変分不等式問題との間の理論的・実験的関係を確立すること。

提案手法

• MMDは非ユークリッド的プロキシマル勾配法に基づき、プロキシマル正則化と学習の安定化を図る「磁石」項を備えたミラー降下の拡張である。
• アルゴリズムは、系列表現を用いて、拡張形ゲームにおけるQRE計算を変分不等式問題としてモデル化する。
• MMDはエントロピー正則化と後退KLダイバージェンス正則化を組み込み、KL-PPO や MDPO とは異なり、逆KLと明示的なエントロピー補正項を用いる。
• 従来のCFR や NFSP が用いる最適応答や重要度サンプリングサブルーチンを必要とせず、1次フィードバックでのみ動作する。
• 均一な磁石と負のエントロピーのミラー写像を用いることで、方策比と利得推定を介した安定な方策更新が可能になる。
• ディープRL設定では、MMDは自己対戦において歴史的方策の平均化を行わず、3x3 Dark Hex などのゲームで特徴を最小化する。

実験結果

リサーチクエスチョン

• RQ1 1次フィードバックのみを用いて、拡張形ゲームにおける数量応答均衡（QRE）へ線形収束を達成できる1つのアルゴリズムは存在するか？
• RQ2 標準的強化学習アルゴリズムは、表形式2人ゼロ和ゲームにおいて、Counterfactual Regret Minimization (CFR) と同等の性能を達成できるか？
• RQ3 MMDは、大規模かつ不完全情報のゲームに一般化して効果的に適用できるか？
• RQ4 MMDが逆KLとエントロピー正則化を用いることは、KL-PPO などの前向きKL法と比較して、学習安定性と収束性に優れているか？
• RQ5 MMDは、方策平均化や軌道の重要度サンプリングに依存せずに、3x3 Dark Hex や Phantom Tic-Tac-Toe といった複雑なゲームで特徴を最小化できるか？

主な発見

• MMDは、正規形および拡張形ゲームの両方において、数量応答均衡（QRE）への線形収束を達成し、EFGにおける1次法で初めてのこのような結果をもたらした。
• 表形式ベンチマークにおいて、MMDはCFRと同等の性能を示し、3x3 Dark Hex では最終的な特徴が -36±2、Phantom Tic-Tac-Toe では -57±0 を達成した。
• 実験的に、MMDは行動価値フィードバックを用いることで、エージェントQRE（AQRE）に収束することが確認され、QRE計算における理論的基盤が裏付けられた。
• 3x3 Dark Hex ではNFSPより優れた性能を示し、特徴が -36±2 に対し、NFSPは -41±10 であった。Phantom Tic-Tac-Toe においても良好な結果を示した。
• MMDは、方策平均化や重要度サンプリングに依存せずに、ディープRL設定でも特徴を効果的に最小化でき、複雑なゲームへのスケーラビリティを示した。
• 理論的分析により、MMDは複合構造を持つ変分不等式問題を解くことができ、EFGにおけるQREの収束保証が可能であることが確立された。