[論文レビュー] A Generalized Training Approach for Multiagent Learning

Paul Müller, Shayegan Omidshafiei+13 more|arXiv (Cornell University)|Sep 27, 2019

Reinforcement Learning in Robotics参考文献 45被引用数 22

ひとこと要約

本稿は、一般和、多数プレイヤー参加のゲームにおいて、計算不能なナッシュ均衡を置き換えるαランクをメタソルバーとして用いた、多エージェント強化学習の一般化された学習フレームワークを提案する。一般和、多数プレイヤー参加ゲームにおいて収束保証を確立し、3〜5人参加ポーカーやMuJoCoサッカーにおいて、ナッシュに基づくPSROや一様サンプリングよりも高速な収束と競争力のあるパフォーマンスを示した。

ABSTRACT

This paper investigates a population-based training regime based on game-theoretic principles called Policy-Spaced Response Oracles (PSRO). PSRO is general in the sense that it (1) encompasses well-known algorithms such as fictitious play and double oracle as special cases, and (2) in principle applies to general-sum, many-player games. Despite this, prior studies of PSRO have been focused on two-player zero-sum games, a regime wherein Nash equilibria are tractably computable. In moving from two-player zero-sum games to more general settings, computation of Nash equilibria quickly becomes infeasible. Here, we extend the theoretical underpinnings of PSRO by considering an alternative solution concept, $α$-Rank, which is unique (thus faces no equilibrium selection issues, unlike Nash) and applies readily to general-sum, many-player settings. We establish convergence guarantees in several games classes, and identify links between Nash equilibria and $α$-Rank. We demonstrate the competitive performance of $α$-Rank-based PSRO against an exact Nash solver-based PSRO in 2-player Kuhn and Leduc Poker. We then go beyond the reach of prior PSRO applications by considering 3- to 5-player poker games, yielding instances where $α$-Rank achieves faster convergence than approximate Nash solvers, thus establishing it as a favorable general games solver. We also carry out an initial empirical validation in MuJoCo soccer, illustrating the feasibility of the proposed approach in another complex domain.

研究の動機と目的

• PSROにおけるナッシュ均衡の限界を克服すること。これは、一般和、多数プレイヤー参加ゲームにおいて計算不能であり、均衡選択問題を引き起こす。
• αランクをスケーラブルで一意な解釈概念として用いることで、PSROの適用範囲を2人ゼロ和ゲームに限らない一般和、多数プレイヤー設定へ拡張すること。
• さまざまなゲームクラスにおいて、αランクをメタソルバーとして用いたPSROの理論的収束保証を確立すること。
• 3〜5人参加ポーカーやMuJoCoサッカーのような複雑な環境におけるアプローチの実現可能性とパフォーマンス向上を実証的に検証すること。
• αランクベースPSROをナッシュベースPSROおよび一様サンプリングと比較し、収束性と有効性の向上を示すこと。

提案手法

• PSROにおけるナッシュ均衡の代わりにαランクをメタソルバーとして採用し、一般和、多数プレイヤー参加ゲームにおけるスケーラブルな学習を可能にする。
• 特定のゲームクラスにおいてαランク分布への収束を保証する新たなベストレスポンスメカニズムを定義する。
• 2段階の階層的トレーニングパイプラインを構築：チームごとに32エージェントの低レベル強化学習トレーニングと、シミュレートされたチーム対戦を用いたメタゲーム構築。
• 不確実性を考慮したエントリ数（1エントリあたり10〜100回のシミュレーション）を用いた適応的シミュレーションサンプリングを用いて、メタゲームペイオフ行列を推定する。
• 各PSROイテレーションにおいて、αランクまたはナッシュ平均スコアに基づき上位10%のRLエージェント（1プレイヤーあたり3体）を選択し、ポリシー・プールを更新する。
• トレーニングステップの50%をセルフプレイに割り当て、プールベースの相手サンプリングを統合することで、ポリシーの多様性と耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ナッシュ均衡が計算不能な一般和、多数プレイヤー参加ゲームにおいて、αランクベースPSROは収束可能か？
• RQ2 2人ゲームにおいて、αランクベースPSROはナッシュベースPSROと比較して収束速度とパフォーマンスで優れているか？
• RQ3 ナッシュソルバーが実用的でない3〜5人参加ポーカーゲームにおいて、αランクベースPSROは効果的にスケーリング可能か？
• RQ4 MuJoCoサッカーのような複雑なマルチエージェント環境において、αランクベースPSROは一様サンプリングやランダム相手選択を上回るか？
• RQ5 αランク、ナッシュ均衡、およびPSROにおけるプロジェクテッドリプロダクタードリンダムの間には、理論的関係が存在するか？

主な発見

• 2人参加のKuhnポーカーおよびLeducポーカーにおいて、αランクベースPSROは正確なナッシュソルバーを用いたPSROと同等のパフォーマンスを達成し、2人ゲーム設定における有効性を検証した。
• 3〜5人参加ポーカーゲームにおいて、αランクベースPSROは近似ナッシュソルバーよりも高速に収束し、より大きな複雑さを持つゲームにおけるスケーラビリティの優位性を示した。
• 3対3のMuJoCoサッカーにおいて、PSRO(αランク, RL)はPSRO(一様, RL)を著しく上回り、トレーニング後の評価で高い勝率が確認された。
• MuJoCoサッカーにおけるメタゲーム上のαランク分布は明確なパフォーマンスの階層を示しており、効果的なポリシー選択と集団の進化を示している。
• 2対2のMuJoCoサッカーにおいて、αランクベースPSROはセルフプレイベースラインを上回り、構造的なメタソルバー選択が一様サンプリングよりもトレーニングを改善することを示した。
• 実験的結果から、提案されたベストレスポンスメカニズムが、一般和ゲームをランダムに生成した場合にαランク分布に収束することが確認され、理論的主張を裏付けた。