[論文レビュー] Pipeline PSRO: A Scalable Approach for Finding Approximate Nash Equilibria in Large Games

Stephen McAleer, John B. Lanier+2 more|arXiv (Cornell University)|Jun 15, 2020

Reinforcement Learning in Robotics参考文献 26被引用数 10

ひとこと要約

P2SROは、各作業者が下位レベルの固定ポリシーおよびアクティブポリシーのメタネッシュ均衡に対して訓練を行う階層的パイプラインを用いるスケーラブルで収束性を保証する手法であり、大規模なゼロ和不完全情報ゲームにおける近似ナッシュ均衡の探索に適している。DCH やリカチフィードPSROといった既存のPSROベース手法よりも優れており、Leducポーカー、ランダム正規形ゲーム、およびゲームツリー複雑度が$10^{50}$のBarrage Strategoにおいて、収束が速く、信頼性の高い近似均衡に到達する。

ABSTRACT

Finding approximate Nash equilibria in zero-sum imperfect-information games is challenging when the number of information states is large. Policy Space Response Oracles (PSRO) is a deep reinforcement learning algorithm grounded in game theory that is guaranteed to converge to an approximate Nash equilibrium. However, PSRO requires training a reinforcement learning policy at each iteration, making it too slow for large games. We show through counterexamples and experiments that DCH and Rectified PSRO, two existing approaches to scaling up PSRO, fail to converge even in small games. We introduce Pipeline PSRO (P2SRO), the first scalable general method for finding approximate Nash equilibria in large zero-sum imperfect-information games. P2SRO is able to parallelize PSRO with convergence guarantees by maintaining a hierarchical pipeline of reinforcement learning workers, each training against the policies generated by lower levels in the hierarchy. We show that unlike existing methods, P2SRO converges to an approximate Nash equilibrium, and does so faster as the number of parallel workers increases, across a variety of imperfect information games. We also introduce an open-source environment for Barrage Stratego, a variant of Stratego with an approximate game tree complexity of $10^{50}$. P2SRO is able to achieve state-of-the-art performance on Barrage Stratego and beats all existing bots. Experiment code is available athttps://github.com/JBLanier/pipeline-psro.

研究の動機と目的

• 大規模なゼロ和不完全情報ゲームにおける、既存のPSROベース手法のスケーラビリティと収束性の制限を克服すること。
• ゲーム理論的収束保証を維持しつつ、トレーニング速度を向上させる並列処理可能なPSROの変種を開発すること。
• Barrage Stratego といった大規模なゲーム（ゲームツリー複雑度が$10^{50}$）において、信頼性の高い収束と最先端のパフォーマンスを実証すること。
• Barrage Stratego のためのオープンソース環境を提供し、再現可能性のある研究とベンチマークを可能にすること。

提案手法

• P2SROは、各作業者が固定ポリシーおよび下位レベルのアクティブポリシーのメタネッシュ均衡に対して訓練を行う階層的パイプラインを維持する。
• ポリシーは固定（これ以上訓練されない）またはアクティブ（訓練中）に分類され、性能向上の伸びが止まった後のみ新しいアクティブポリシーが追加される。
• DCH やリカチフィードPSROとは異なり、古くなったポリシーの再訓練による不安定性を防ぐことで、近似ナッシュ均衡への収束を保証する。
• しきい値に基づく停止基準を用いる：最低レベルのアクティブポリシーの性能向上が時間経過とともにしきい値未満に下がると、そのポリシーは固定され、新たなポリシーが追加される。
• 二重オラクルの原則を活用し、現在のポリシー集団に対する最良応答を訓練することで、理論的収束を保証する。
• P2SROは並列作業者数に応じて効率的にスケーリング可能であり、計算リソースが増えるほど収束が加速する。

実験結果

リサーチクエスチョン

• RQ1 大規模な不完全情報ゲームにおいて、PSROベース手法がスケーラブルかつ近似ナッシュ均衡への収束を保証できるか？
• RQ2 DCH やリカチフィードPSROといった既存の並列PSRO手法が、理論的には有効であるにもかかわらず、小さなゲームではなぜ収束しないのか？
• RQ3 強化学習作業者の階層的パイプラインは、並列学習を可能にしつつも収束性を維持できるか？
• RQ4 P2SROはBarrage Stratego といった大規模で複雑なゲームで最先端のパフォーマンスを達成できるか？
• RQ5 Barrage Stratego のためのオープンソース環境は、均衡探索アルゴリズムの再現可能性のあるベンチマークを可能にするか？

主な発見

• ランダム正規形ゲームにおいて、P2SROはナイーブPSRO、DCH、リカチフィードPSROよりも著しく速く近似ナッシュ均衡に収束し、平均の利用可能性が半分の時間で0.4未満に低下する。
• Leducポーカーにおいて、P2SROはナイーブPSROの約2倍の速さで利用可能性0.4に到達するが、DCH やリカチフィードPSROは低利用可能性に収束しない。
• Barrage Stratego において、P2SROは既存のボットに対して平均71%の勝率を記録し、82万回のエピソード後には各ボットに対して65%を超える勝率を達成する。
• P2SROはBarrage Stratego におけるすべての既存ボットを上回り、ゲームツリー複雑度が$10^{50}$のゲームで最先端のパフォーマンスを示している。
• 著者らは、リカチフィードPSROがナッシュ均衡への収束を保証しないことを示す反例を提示し、ランダム正規形ゲームにおけるその失敗を実証的に検証した。
• Barrage Stratego のオープンソース環境は https://github.com/JBLanier/stratego_env で公開され、コミュニティによる再現性とさらなる研究を可能にしている。