[論文レビュー] XDO: A Double Oracle Algorithm for Extensive-Form Games

Stephen McAleer, John B. Lanier+3 more|arXiv (Cornell University)|Mar 11, 2021

Reinforcement Learning in Robotics参考文献 26被引用数 5

ひとこと要約

本稿では、情報状態の数に対して線形な反復回数で近似ナッシュ均衡に収束することを保証する、拡張形式ゲームにおける新しいダブルオラクルアルゴリズムXDOを紹介する。PSROと比較して、反復回数が指数的になる可能性があるのと比べて顕著に改善されている。本手法は根の位置でのみではなく、すべての情報状態で最良応答を計算する。また、そのニューラル版であるNXDOは、高次元連続行動逐次ゲームにおける近似ナッシュ均衡を求める最初の深層強化学習手法である。

ABSTRACT

Policy Space Response Oracles (PSRO) is a reinforcement learning (RL) algorithm for two-player zero-sum games that has been empirically shown to find approximate Nash equilibria in large games. Although PSRO is guaranteed to converge to an approximate Nash equilibrium and can handle continuous actions, it may take an exponential number of iterations as the number of information states (infostates) grows. We propose Extensive-Form Double Oracle (XDO), an extensive-form double oracle algorithm for two-player zero-sum games that is guaranteed to converge to an approximate Nash equilibrium linearly in the number of infostates. Unlike PSRO, which mixes best responses at the root of the game, XDO mixes best responses at every infostate. We also introduce Neural XDO (NXDO), where the best response is learned through deep RL. In tabular experiments on Leduc poker, we find that XDO achieves an approximate Nash equilibrium in a number of iterations an order of magnitude smaller than PSRO. Experiments on a modified Leduc poker game and Oshi-Zumo show that tabular XDO achieves a lower exploitability than CFR with the same amount of computation. We also find that NXDO outperforms PSRO and NFSP on a sequential multidimensional continuous-action game. NXDO is the first deep RL method that can find an approximate Nash equilibrium in high-dimensional continuous-action sequential games. Experiment code is available at https://github.com/indylab/nxdo.

研究の動機と目的

• 正規形で表現された方策の非効率な表現が原因で、PSROが拡張形式ゲームにおいて反復複雑性が指数的になる問題に対処する。
• すべての情報状態での最良応答を混合することで、拡張形式方策に直接作用するダブルオラクルアルゴリズムを開発する。
• 高次元連続行動逐次ゲームにおいて、従来の深層強化学習手法がナッシュ均衡に収束しない状況でも対応可能な、ニューラル拡張版NXDOを設計する。
• XDOが同等の計算量でCFRやPSROよりも低い詐欺性（exploitability）を達成することを実証する。特に、戦略サポートが疎なゲームにおいて顕著である。
• 理論的および実験的保証を提示し、XDOが情報状態数に対して線形時間で収束することを示す。これはPSROの最悪ケース指数的挙動とは対照的である。

提案手法

• XDOは純粋戦略の集合を維持し、その集合に含まれる戦略からの行動のみを用いて制限付きゲームを構築する。
• 各反復において、制限付きゲームは拡張形式ソルバー（例：CFRや虚仮対戦）によって解かれ、メタナッシュ均衡が得られ、未確認の情報状態では任意の行動で拡張される。
• すべての情報状態でメタナッシュ均衡に対する最良応答が計算され、その戦略が集合に追加され、ゲーム木全体にわたり局所的な方策改善が保証される。
• PSROとは異なり、XDOは根でのみ戦略を混合するのではなく、すべての情報状態で混合を可能にすることで、より効率的かつ正確な方策表現が可能になる。
• NXDOでは、正確な最良応答を深層強化学習のポリシー・ネットワーク（例：PPOやDDQN）で置き換え、大規模または連続行動ゲームにおける近似最良応答を学習する。
• NXDOの制限付きゲームでは、ポリシーの集合から選択するメタアクションを用い、NFSPのようなニューラル拡張形式ゲームソルバーを用いて解かれる。これにより、情報状態間での一般化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 拡張形式ゲームにおけるダブルオラクルアルゴリズムが、情報状態数に対して線形時間で収束できるか。PSROとは異なり、指数的複雑性を示さないか。
• RQ2 根でのみでなく、すべての情報状態で最良応答を混合することで、大規模ゲームにおける収束速度と詐欺性の低下が達成されるか。
• RQ3 このアルゴリズムの深層強化学習版（NXDO）が、高次元連続行動逐次ゲームにおいて近似ナッシュ均衡を効果的に見つけられるか。
• RQ4 XDOが、変更されたLeducポーカーや連続行動ゲームにおいて、PSROおよびCFRと比較して詐欺性とサンプル効率の点でどのように異なるか。
• RQ5 NXDOにおけるニューラルネットワークの使用が、大規模または連続行動空間を持つゲームにおいて、一般化能力と性能向上をどの程度実現するか。

主な発見

• Leducポーカーにおいて、XDOは7回未満の反復で詐欺性0.1を達成するが、PSROは同程度の水準に到達するまでに150回以上の反復を要する。
• 2-Clone Leducポーカーでは、XDOはCFR+やMCCFRよりも低い詐欺性を達成し、訪問するゲーム状態数が著しく少ない。これは、不要な行動の剪定に起因する。
• Oshi-Zumoでは、XDOはSDO、CFR+、MCCFRを上回り、多様なゲーム構造に対して高い頑健性を示している。
• 2Dおよび16D連続行動Lossゲームにおいて、NXDOはPSROおよびNFSPを上回り、PPOベースのBR学習により高次元空間での収束を実現している。
• DDQNベースのBRを用いたNXDOは、20-Clone LeducポーカーにおいてPSROを上回っているが、経験コストの高い内側ループの影響で、表形式の設定ほど大きな差は得られていない。
• 結果から、XDOおよびNXDOは、各情報状態でナッシュ均衡がわずかな行動集合のみに混合されるゲームにおいて特に効果的であることが示唆される。CFR や NFSP は行動数の増加に伴い性能が著しく低下するが、XDOおよびNXDOはその点で優位である。