[論文レビュー] Last-iterate Convergence in Extensive-Form Games

Chung‐Wei Lee, Christian Kroer+1 more|arXiv (Cornell University)|Jun 27, 2021

Artificial Intelligence in Games参考文献 45被引用数 4

ひとこと要約

本稿は、完璧記憶を備えた2人零和の広範図形式ゲームにおける、楽観的レジーツ最小化アルゴリズムの最終反復収束を確立する。Dilated Optimistic Multiplicative Weights Update (DOMWU) などのアルゴリズムが、平均化に依存する従来の CFR 法とは異なり、ナッシュ均衡へ線形収束することを示している。主な貢献は、強凸正則化子と楽観的更新を用いた逐次ゲームにおける高速で直接的な収束の理論的基盤を提供することにある。

ABSTRACT

Regret-based algorithms are highly efficient at finding approximate Nash equilibria in sequential games such as poker games. However, most regret-based algorithms, including counterfactual regret minimization (CFR) and its variants, rely on iterate averaging to achieve convergence. Inspired by recent advances on last-iterate convergence of optimistic algorithms in zero-sum normal-form games, we study this phenomenon in sequential games, and provide a comprehensive study of last-iterate convergence for zero-sum extensive-form games with perfect recall (EFGs), using various optimistic regret-minimization algorithms over treeplexes. This includes algorithms using the vanilla entropy or squared Euclidean norm regularizers, as well as their dilated versions which admit more efficient implementation. In contrast to CFR, we show that all of these algorithms enjoy last-iterate convergence, with some of them even converging exponentially fast. We also provide experiments to further support our theoretical results.

研究の動機と目的

• 広範図形式ゲームにおける反対的レジーツ最小化（CFR）の遅い収束と平均化のオーバーヘッドを解消すること。
• 楽観的レジーツ最小化アルゴリズムが、完璧記憶を備えた零和広範図形式ゲームで最終反復収束を達成できるかどうかを調査すること。
• 強凸正則化子を用いた楽観的ミラー降下アルゴリズムの明示的収束速度を確立すること。
• 最終反復収束が平均反復収束よりも明確に速くなる条件を特定すること。
• 最近の最終反復収束の進展を、正規形式から広範図形式ゲームへと拡張すること。

提案手法

• 完璧記憶を備えた広範図形式ゲームの系列形式表現において問題を形式化すること。
• 強凸正則化子（通常のエントロピー、二乗ユークリッドノルム、およびその拡張版）を用いた楽観的オンラインミラー降下（OMD）を適用すること。
• 拡張エントロピー正則化子を用いて、効率的な実装を可能にするとともに、ナッシュ均衡の一意性の下で線形収束を証明すること。
• ブレグマン発散を用いて収束を確立し、ゲーム依存定数を用いて最適戦略との距離をバウンディングすること。
• 楽観的更新の振る舞いを分析して、最終反復が平均ではなくナッシュ均衡に近づくことを保証すること。
• DOMWU などのアルゴリズムが、ナッシュ均衡の一意性の仮定の下で指数的（線形）収束率を達成することを証明すること。

実験結果

リサーチクエスチョン

• RQ1 楽観的レジーツ最小化アルゴリズムは、完璧記憶を備えた2人零和広範図形式ゲームで最終反復収束を達成できるか？
• RQ2 DOMWU や類似アルゴリズムは、ナッシュ均衡へ線形収束するのか。その条件は何か？
• RQ3 CFR 及びその変種が、平均では収束するにもかかわらず、なぜ最終反復では収束しないのか？
• RQ4 楽観的アルゴリズムの理論的収束速度を、O(1/√T) や O(1/T) よりも改善できるか？
• RQ5 実験的に観察されるように、楽観的アルゴリズムの最終反復が、平均戦略を上回る性能を示す理論的根拠はあるか？

主な発見

• 強凸正則化子を備えたすべての楽観的レジーツ最小化アルゴリズム、特に DOMWU を含め、完璧記憶を備えた2人零和広範図形式ゲームで最終反復収束を達成する。
• Dilated Optimistic Multiplicative Weights Update (DOMWU) アルゴリズムは、ナッシュ均衡の一意性の仮定の下で、一意なナッシュ均衡へ線形収束する。
• これに対して、標準的な CFR 及びその変種（例：CFR+）は、最終反復でも収束せず、平均化に依存するため、実務的にも収束しない。
• DOMWU の収束速度は指数的（線形）であることが証明されており、レジーツ最小化アルゴリズムの一般的な O(1/√T) や O(1/T) の速度よりも著しく速い。
• 理論的分析により、最適戦略とのブレグマン発散が指数的に減少することが示され、これが線形収束を確立する上で鍵となる。
• DOGD A は強力な実験的性能と漸近的線形収束を示すが、拡張ユークリッド正則化子の技術的課題のため、明確な収束速度は未解決の問題のままである。