[論文レビュー] Optimistic Regret Minimization for Extensive-Form Games via Dilated Distance-Generating Functions

Gabriele Farina, Christian Kroer+1 more|arXiv (Cornell University)|Oct 24, 2019

Advanced Bandit Algorithms Research被引用数 14

ひとこと要約

本稿は、拡張形式ゲームにおける楽観的レジーツ最小化アルゴリズムを、拡張距離生成関数（特に拡張エントロピーおよび拡張ユークリッド距離）を用いて導入する。これにより、各情報集合における局所的・分散型の更新が可能となる。本稿では、拡張ユークリッドDGFに対する最初の明示的強凸性バインディングを証明し、ナッシュ均衡への$O(T^{-1})$収束を示す。これは浅いゲームにおいてCFR+を上回り、深木構造においてもレジーツ最小化の観点で優れた性能を示す。

ABSTRACT

We study the performance of optimistic regret-minimization algorithms for both minimizing regret in, and computing Nash equilibria of, zero-sum extensive-form games. In order to apply these algorithms to extensive-form games, a distance-generating function is needed. We study the use of the dilated entropy and dilated Euclidean distance functions. For the dilated Euclidean distance function we prove the first explicit bounds on the strong-convexity parameter for general treeplexes. Furthermore, we show that the use of dilated distance-generating functions enable us to decompose the mirror descent algorithm, and its optimistic variant, into local mirror descent algorithms at each information set. This decomposition mirrors the structure of the counterfactual regret minimization framework, and enables important techniques in practice, such as distributed updates and pruning of cold parts of the game tree. Our algorithms provably converge at a rate of $T^{-1}$, which is superior to prior counterfactual regret minimization algorithms. We experimentally compare to the popular algorithm CFR+, which has a theoretical convergence rate of $T^{-0.5}$ in theory, but is known to often converge at a rate of $T^{-1}$, or better, in practice. We give an example matrix game where CFR+ experimentally converges at a relatively slow rate of $T^{-0.74}$, whereas our optimistic methods converge faster than $T^{-1}$. We go on to show that our fast rate also holds in the Kuhn poker game, which is an extensive-form game. For games with deeper game trees however, we find that CFR+ is still faster. Finally we show that when the goal is minimizing regret, rather than computing a Nash equilibrium, our optimistic methods can outperform CFR+, even in deep game trees.

研究の動機と目的

• ポーカーのような大規模応用に代表される拡張形式ゲームにおける、レジーツ最小化の理論的収束速度に関するギャップを埋める。
• 木プレックス戦略空間に適した距離生成関数（DGF）を設計することで、オンライン凸最適化（OCO）アルゴリズムを拡張形式ゲームに適用する課題を克服する。
• 拡張DGFがもたらす構造的分解を活用し、ゲームツリーにおける局所的・分散型・剪定可能な更新を実現する。
• 従来のカウンターファクチュアルレジーツ最小化（CFR）手法の理論的収束率$T^{-0.5}$よりも速い、$O(T^{-1})$の理論的収束を達成する。
• 楽観的レジーツ最小化が、収束速度だけでなく累積的レジーツの観点でもCFR+を上回ることを示す。特に浅いゲームや均衡計算ではなくレジーツ最小化が目的の状況で顕著である。

提案手法

• 拡張距離生成関数（DGF）として、特に拡張エントロピーおよび拡張ユークリッドDGFを、拡張形式ゲームの列形式戦略空間に適用し、妥当性の維持とステップサイズの制御を実現する。
• 一般の木プレックス上における拡張ユークリッドDGFに対する、最初の明示的強凸性パラメータのバインディングを証明し、理論的収束保証を可能にする。
• 楽観的フォローザレギュライズドリーダ（OFTRL）および楽観的ミラー降下（OOMD）アルゴリズムを、各情報集合における局所的更新に分解し、カウンターファクチュアルレジーツ最小化（CFR）の構造を模倣する。
• ミラー降下フレームワークに楽観的更新を適用し、拡張DGFによって誘導される近接作用素を用いて反復を効率的に計算する。
• 更新の局所化を活用し、分散計算およびゲームツリーの非活性（冷えている）部分の剪定を可能にする。
• 最終戦略プロファイルを計算するために、反復の線形平均を用いる。これはCFR+の標準的手法と一致させ、比較のための基準を整える。

実験結果

リサーチクエスチョン

• RQ1 適切な距離生成関数を備えた楽観的レジーツ最小化アルゴリズムが、拡張形式ゲームにおいてナッシュ均衡への$O(T^{-1})$収束を達成できるか？
• RQ2 木プレックス上における拡張ユークリッド距離生成関数の強凸性特性は何か？ そして、それらを明示的にバインディングできるか？
• RQ3 拡張DGFの使用により、カウンターファクチュアルレジーツ最小化の構造を模倣する情報集合レベルの局所的更新が可能となり、分散型および剪定可能な計算が実現できるか？
• RQ4 異なるゲームの深さや構造において、楽観的レジーツ最小化手法はCFR+と比較して収束速度および累積的レジーツの観点でどのように異なるか？
• RQ5 CFR+の理論的$T^{-0.5}$収束率は実際にタイトなものか、それとも実際の性能と比べて緩いバインディングを反映しているのか？

主な発見

• 本稿では、一般の木プレックス上における拡張ユークリッド距離生成関数に対する、最初の明示的強凸性パラメータバインディングを確立し、理論的収束保証を可能にした。
• 浅い行列ゲームでは、CFR+の収束速度は約$T^{-0.74}$であるのに対し、提案された楽観的OFTRL法は$T^{-1}$を上回る速度で収束し、浅い設定において優れた実験的性能を示した。
• クーンポーカーでは、提案された楽観的手法がナッシュ均衡への$O(T^{-1})$収束を達成し、理論的レートに一致した。また、累積的レジーツの観点でもCFR+を上回った。
• レデュックポーカー（より深いゲーム）では、OFTRLはサドルポイントギャップがCFR+を上回らなかったものの、累積的レジーツの観点でより速い収束を示した。これは、この文脈ではレジーツ最小化がより強い指標であることを示唆している。
• テストされたすべてのゲームにおいて、OFTRLの累積的レジーツの合計はCFR+を常に下回った。これは、CFR+の理論的レジーツバインディングが実際の性能と比べて緩く、実用的ではあるが理論的にタイトではないことを示している。
• 理論的分析により、サドルポイントギャップは$(R_1 + R_2)/T$でバインディングされるが、実験結果ではこのバインディングは実際の性能と比べて著しく緩く、CFR+が実際の収束が速いにもかかわらず、加速手法ではない可能性があることが示された。