[論文レビュー] Lazy-CFR: fast and near optimal regret minimization for extensive games with imperfect information

Yichi Zhou, Tongzheng Ren+3 more|arXiv (Cornell University)|Oct 10, 2018

Advanced Bandit Algorithms Research参考文献 16被引用数 5

ひとこと要約

この論文は、2人ゼロ和の完全情報でない広範囲ゲームにおけるレジストミニマイゼーションのための新規アルゴリズムであるLazy-CFRを紹介する。この手法は、各ラウンドでO(√|I|)の情報集合のみを更新する「遅延更新」技術を用いることで収束を加速する。従来のCFRと比較して、Leduc-15のような大規模ゲームで最大500倍の高速化を達成しながら、近似的に最良のレジスト性能を維持する。

ABSTRACT

Counterfactual regret minimization (CFR) is the most popular algorithm on solving two-player zero-sum extensive games with imperfect information and achieves state-of-the-art performance in practice. However, the performance of CFR is not fully understood, since empirical results on the regret are much better than the upper bound proved in \cite{zinkevich2008regret}. Another issue is that CFR has to traverse the whole game tree in each round, which is time-consuming in large scale games. In this paper, we present a novel technique, lazy update, which can avoid traversing the whole game tree in CFR, as well as a novel analysis on the regret of CFR with lazy update. Our analysis can also be applied to the vanilla CFR, resulting in a much tighter regret bound than that in \cite{zinkevich2008regret}. Inspired by lazy update, we further present a novel CFR variant, named Lazy-CFR. Compared to traversing $O(|\mathcal{I}|)$ information sets in vanilla CFR, Lazy-CFR needs only to traverse $O(\sqrt{|\mathcal{I}|})$ information sets per round while keeping the regret bound almost the same, where $\mathcal{I}$ is the class of all information sets. As a result, Lazy-CFR shows better convergence result compared with vanilla CFR. Experimental results consistently show that Lazy-CFR outperforms the vanilla CFR significantly.

研究の動機と目的

• カウンターファクチュアルレジストミニマイゼーション（CFR）の高い計算コストを軽減すること。特に、大規模ゲームでは各ラウンドで全ゲームツリーを走査する必要があるため。
• 理論的裏付けのある技術を開発し、更新する情報集合の数を減らしながらも、レジスト性能に影響を与えないようにすること。
• 基礎的な最適戦略を用いて即時のレジストの相関関係を分析することで、CFRおよびその変種のよりタイトなレジストバウンドを導出すること。
• 従来のCFRよりも著しく収束が速く、近似的に最良のレジスト性能を維持する実用的なアルゴリズム、Lazy-CFRを設計すること。

提案手法

• 時間軸をセグメントに分割し、戦略の更新をセグメント境界でのみ行う「遅延更新フレームワーク」を導入することで、1ラウンドあたりの計算量を削減する。
• 即時のレジスト間の相関関係を解明する新しいレジスト解析を提案し、従来のO(|I|√(T log A))から、よりタイトなO(√(ξDT log A))の上界を得た。
• 単純なしきい値ベースの更新ルールを定義：累積到達確率がしきい値を超えた場合にのみ情報集合を更新。これにより、自然に1ラウンドあたりの更新回数がO(√|I|)に制限される。
• レジストマッチングのオンライン学習ソルバーとしてHedgeアルゴリズムを適用し、関連性の高い情報集合のみで効率的な戦略更新を実現する。
• 理論的バウンドを導出し、ϵ-ナッシュ均衡を計算する際、Lazy-CFRの実行時間は従来のCFRのO(√|I|/D)倍速くなることを示した。
• 明示的な敵対者を構築し、Ω(√(ξT log A))のレジスト下界を証明。CFRおよびLazy-CFRが小さい要因の範囲内で近似的に最適であることを示した。

実験結果

リサーチクエスチョン

• RQ1 CFRにおける1ラウンドあたりの更新情報集合数を減らすことができるか？ ただし理論的レジスト保証を維持する。
• RQ2 即時のレジストの相関関係を分析することで、それらを独立に扱うのではなく、CFRのよりタイトなレジストバウンドを導出できるか？
• RQ3 単純なしきい値ベースの更新ルールは、収束品質を劣化させることなく、実際の高速化をもたらすか？
• RQ4 Lazy-CFRの性能は、従来のCFRおよびMC-CFRやCFR+などの他の変種と比較して、収束速度と利用可能性の観点でどうか？
• RQ5 Lazy-CFRのレジストバウンドは近似的に最適か？ また、情報理論的下界との理論的ギャップはどの程度か？

主な発見

• Lazy-CFRは、1ラウンドあたりの更新情報集合数をO(|I|)からO(√|I|)に削減し、大規模ゲームでの著しい高速化を実現した。
• 1.3×10⁵以上の情報集合を有するLeduc-15ゲームでは、Lazy-CFRは従来のCFRと比較して200倍以上も速く収束した。
• Lazy-CFR+は、同じLeduc-15ベンチマークでCFR+と比較して500倍以上も速く収束した。
• Lazy-CFRのレジストバウンドはO(√(ξDT log A))であり、従来のO(|I|√(T log A))のバウンドよりもタイトで、O(D)の要因内で近似的に最適である。
• 理論的解析により、Ω(√(ξT log A))のレジスト下界が存在することが示され、CFRおよびLazy-CFRが小さい要因の範囲内で近似的に最適であることが確認された。
• 実験結果では、Leduc-5のような小さなインスタンスではわずかに劣るが、より大きなゲームではMC-CFRやCFR+を上回る性能を示した。