[論文レビュー] Stochastic Regret Minimization in Extensive-Form Games

Gabriele Farina, Christian Kroer+1 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Bandit Algorithms Research参考文献 35被引用数 5

ひとこと要約

本稿は、広範な形式ゲームにおける確率的レジスト最小化の一般枠組みを導入し、レジスト最小化アルゴリズムと勾配推定器を分離することで、柔軟で高性能なアルゴリズムの構築を可能にする。MCCFRの収束解析を簡素化し、高確率レジストバウンドにおいて指数的改善を達成する。実験により、FTRL や OMD の新しい確率的バージョンが、いくつかのゲームで MCCFR を上回ることを示している。

ABSTRACT

Monte-Carlo counterfactual regret minimization (MCCFR) is the state-of-the-art algorithm for solving sequential games that are too large for full tree traversals. It works by using gradient estimates that can be computed via sampling. However, stochastic methods for sequential games have not been investigated extensively beyond MCCFR. In this paper we develop a new framework for developing stochastic regret minimization methods. This framework allows us to use any regret-minimization algorithm, coupled with any gradient estimator. The MCCFR algorithm can be analyzed as a special case of our framework, and this analysis leads to significantly-stronger theoretical on convergence, while simultaneously yielding a simplified proof. Our framework allows us to instantiate several new stochastic methods for solving sequential games. We show extensive experiments on three games, where some variants of our methods outperform MCCFR.

研究の動機と目的

• 広範な形式ゲーム（EFG）における確率的レジスト最小化アルゴリズムを構築するための一般的でモジュラーな枠組みを開発すること。これにより、レジスト最小化アルゴリズムと勾配推定器を分離可能にする。
• モンテカルロ対戦的レジスト最小化（MCCFR）の理論的解析を簡素化し、大幅に強力なものにすることで、高確率収束保証を改善すること。
• 提案された枠組み内で任意の勾配推定器と組み合わせることで、FTRL や OMD などの新しい確率的アルゴリズムを実装可能にすること。
• 提案された手法の性能を、多様なゲームにおいて MCCFR と比較して実験的に評価し、特定の状況下で優位性を示すことを目的とする。

提案手法

• 本枠組みは、任意のレジスト最小化アルゴリズムと任意の勾配推定器を組み合わせることを可能にすることで、確率的レジスト最小化を一般化する。これにより、モジュラーなアルゴリズム設計が実現される。
• マーティングールの集中不等式（例：フレドマンの不等式）を活用し、条件付き分散を組み込むことで、レジストに対する高確率バウンドを導出する。
• MCCFR を特別なケースとして再解釈することで、簡素化された証明と、$O(\sqrt{T\log(1/p)})$ のより強いレジストバウンドを導出する。これは従来の $O(\sqrt{T/p})$ のバウンドよりも優れている。
• 確率的勾配を用いた FTRL や OMD のバリエーションを実装可能にし、実験ではステップサイズのチューニングを適用する。
• 出力サンプリングや外部サンプリングなどのさまざまなサンプリング方式を勾配推定器としてサポートし、異なる設定下での性能を評価する。
• 理論的解析では、損失関数および勾配ベクトルの有界性を仮定し、条件付き分散の和に基づいた確率的レジストバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 広範な形式ゲーム（EFG）において、任意のレジスト最小化アルゴリズムと任意の勾配推定器を体系的に組み合わせる一般枠組みを構築可能か？
• RQ2 この枠組みにより、MCCFR や他の既存手法よりも著しく強力な理論的収束保証が得られるか？
• RQ3 本枠組み内で実装された新しい確率的アルゴリズム（例：FTRL や OMD）は、実際のゲームにおいて MCCFR を上回る性能を示すか？
• RQ4 特に、出力サンプリングのような高分散勾配推定器を用いる場合、これらの新しいアルゴリズムはステップサイズの選択にどれほど敏感か？
• RQ5 本枠組みは、標準的なゲーム解決を越えた、他の EFG に類似した問題へも拡張可能か？

主な発見

• 本枠組みにより、MCCFR の理論的バウンドが簡素化され、著しく強化された。確率 $1-p$ において、レジストの成長が $O(\sqrt{T\log(1/p)})$ に抑えられ、従来の $O(\sqrt{T/p})$ のバウンドに比べて指数的改善が達成された。
• 実験の結果、本枠組み内で実装された FTRL や OMD のバリエーションが、Leduc13 や Search-5 などの複数のゲームで MCCFR を上回ることが示された。ステップサイズのチューニングを最小限に抑えても同様の結果が得られた。
• Goofspiel および Search-5 では、出力サンプリングを用いた FTRL が、最終的に MCCFR を上回る結果を示した。これは、より良いハイパーパramータ選択によりさらなる改善が期待できる可能性を示している。
• Goofspiel および Search-5 では、出力サンプリング条件下で MCCFR が依然として優位であった。これは、FTRL や OMD が一部の状況下で勾配分散に対してより感受性を示す可能性を示している。
• 本枠組みにより、分散に適応する集中バウンド（命題3）を導出可能となり、低分散または高分散の両状態で古典的なアズマ＝フーディングのバウンドを上回る性能を発揮する。
• 本枠組みは、他のレジスト最小化アルゴリズムや勾配推定器へも拡張可能であり、EFG における分散制御付き確率的手法の研究の新たな道を開く。