[論文レビュー] Stable-Predictive Optimistic Counterfactual Regret Minimization

Gabriele Farina, Christian Kroer+2 more|arXiv (Cornell University)|Feb 13, 2019

Advanced Bandit Algorithms Research被引用数 10

ひとこと要約

本稿では、反証的後悔最小化フレームワークに安定予測的オプティミスティック後悔最小化を統合することで、$O(T^{-3/4})$ の収束速度を達成する、新規な CFR 変種を提案する。局所的後悔最小化器の安定性を意思決定木における位置に応じて精密に調整し、OFTRL 更新を活用することで、従来の $O(T^{-1/2})$ の収束限界を打ち破りつつ、理論的保証を維持し、特定の部分ゲームにおいて、vanilla CFR よりも優れた性能を示す。

ABSTRACT

The CFR framework has been a powerful tool for solving large-scale extensive-form games in practice. However, the theoretical rate at which past CFR-based algorithms converge to the Nash equilibrium is on the order of $O(T^{-1/2})$, where $T$ is the number of iterations. In contrast, first-order methods can be used to achieve a $O(T^{-1})$ dependence on iterations, yet these methods have been less successful in practice. In this work we present the first CFR variant that breaks the square-root dependence on iterations. By combining and extending recent advances on predictive and stable regret minimizers for the matrix-game setting we show that it is possible to leverage "optimistic" regret minimizers to achieve a $O(T^{-3/4})$ convergence rate within CFR. This is achieved by introducing a new notion of stable-predictivity, and by setting the stability of each counterfactual regret minimizer relative to its location in the decision tree. Experiments show that this method is faster than the original CFR algorithm, although not as fast as newer variants, in spite of their worst-case $O(T^{-1/2})$ dependence on iterations.

研究の動機と目的

• CFR アルゴリズムの理論的限界に取り組むこと。実用的成績にもかかわらず、収束速度が $O(T^{-1/2})$ に留まるという点である。
• 一階法の理論的収束速度（$O(T^{-1})$）と実用的 CFR 変種の収束速度（$O(T^{-1/2})$）のギャップを埋めること。
• 従来の $O(T^{-1/2})$ よりも速い収束速度を達成しつつ、実用的かつ安定した CFR 変種を開発すること。
• 広範な形式ゲームの文脈において、安定予測性の概念を形式化し、それを後悔最小化に応用すること。

提案手法

• 広範な形式ゲームにおける反証的後悔最小化器に特化した、安定予測性の新概念を導入する。
• 各情報集合に、安定性パラメータを意思決定木における深さに応じて設定した、オプティミスティック・フォローザレギュライズドリーダ（OFTRL）後悔最小化器を導入する。
• 行列ゲーム設定からの予測的かつ安定した後悔最小化技術を、EFG における逐次的意思決定に拡張する。
• エントロピー正則化と理論的分析に従ったステップサイズ選択を伴う、双対ノルムフレームワークを適用する。
• 異なるゲーム部分ゲームにおける実用的性能を評価するために、同時に更新と交互更新の両方のスキームを用いる。
• 理論的設定が余りに保守的であったため、より大きな部分ゲームではステップサイズパラメータを経験的に調整する。

実験結果

リサーチクエスチョン

• RQ1 理論的安定性と予測可能性を維持しつつ、$O(T^{-1/2})$ より速い収束速度を達成できる CFR 変種は存在するか？
• RQ2 行列ゲームから得たオプティミスティック後悔最小化の原則を、広範な形式ゲームの階層的構造へどのように拡張できるか？
• RQ3 意思決定木における情報集合の深さが、その局所的後悔最小化器に必要な安定性に果たす役割は何か？
• RQ4 安定予測的後悔最小化器の統合は、実用的 EFG 部分ゲームにおいて、vanilla CFR よりも測定可能な性能向上をもたらすか？
• RQ5 理論的収束速度が優れているにもかかわらず、一部の $O(T^{-1})$ 速度法が実用的になかなか性能を発揮しないのはなぜか？

主な発見

• 提案された OFTRL を用いた CFR 変種は、理論的収束速度 $O(T^{-3/4})$ を達成し、従来の CFR の $O(T^{-1/2})$ の壁を打ち破った。
• 小さな部分ゲーム（3 と 4）では、理論的ステップサイズが vanilla CFR よりも速い収束をもたらし、特に部分ゲーム 4 では OFTRL が初期段階から CFR を上回った。
• 大きな部分ゲーム（1 と 2）では、理論的最適ステップサイズが余りに保守的であったが、手動で調整したステップサイズ（100 分の 1）により、CFR より顕著な改善が得られた。
• 交互更新設定では、OFTRL は CFR や DCFR よりも性能が劣り、更新スキームへの感受性が示された。
• 割引 CFR（DCFR）は、すべての設定で、理論的および調整済み OFTRL を含め、すべての変種を上回った。これは、$O(T^{-1/2})$ の最悪ケースレートを持つにもかかわらず、実用的優位性を確立していることを確認した。
• 結果として、オプティミスティック後悔最小化を用いることで、CFR における理論的収束加速が可能であることが示されたが、実用的性能はステップサイズの調整と更新戦略に強く依存することがわかった。