[論文レビュー] Solving Large Imperfect Information Games Using CFR+

Oskari Tammelin|arXiv (Cornell University)|Jul 18, 2014

Artificial Intelligence in Games参考文献 3被引用数 31

ひとこと要約

本稿では、ポーカーのような大規模な不完全情報ゲームを解く際に収束を著しく高速化する新しいアルゴリズム CFR+ を提案する。標準のレジーツマッチングに代えて、新規のレジーツマッチング+戦略更新手法を導入することで、CFRに比べて10倍以上に加速され、メモリ使用量も削減され、レジーツデータの圧縮性も向上する。

ABSTRACT

Counterfactual Regret Minimization and variants (e.g. Public Chance Sampling CFR and Pure CFR) have been known as the best approaches for creating approximate Nash equilibrium solutions for imperfect information games such as poker. This paper introduces CFR$^+$, a new algorithm that typically outperforms the previously known algorithms by an order of magnitude or more in terms of computation time while also potentially requiring less memory.

研究の動機と目的

• 大規模な不完全情報ゲーム、特に隠れた情報を持つポーカーのようなゲームに対して、より効率的なアルゴリズムを開発すること。
• 収束に多数の反復を要する既存のカウンターファクチュアルレジーツ最小化（CFR）変種の計算非効率性を是正すること。
• 負のレジーツ蓄積を排除することで、メモリ使用量の削減とデータの圧縮性の向上を図ること。
• 戦略の平均化を必要とせず、直接的に近似ナッシュ均衡に収束させるため、実装の簡素化とパフォーマンスの向上を実現すること。

提案手法

• CFR+ は、ベクトル形式で、反復毎に1人のプレイヤーずつを交互に更新するメカニズムを採用する。
• 標準のレジーツマッチングに代えて、新たなバリエーションであるレジーツマッチング+ を採用し、累積的カウンターファクチュアルレジーツを最大正の更新ルールで計算する：$ R^{+,T}_{i}(I,a) = \max\{ R^{+,T-1}_{i}(I,a) + v_{i}(\sigma^{T}_{I\rightarrow a},I) - v_{i}(\sigma^{T},I), 0 \} $。
• 分母が正の場合、戦略は $ \sigma^{T+1} = \frac{R^{+,T}_{i}(I,a)}{\sum_{a'\in A(I)} R^{+,T}_{i}(I,a')} $ で更新される。そうでない場合は一様分布に設定する。
• CFRとは異なり、CFR+ は反復間の平均化を必要としない。現在の戦略が直接的に近似ナッシュ均衡に収束する。
• 遅延 $ d $ を持つ重み付き平均化スキーム（重みは $ w^T = \max\{T - d, 0\} $）を用いることで、収束速度をさらに向上させる。
• 多くのレジーツ値がゼロのまま残ることを活用し、算術符号化やコンテキストモデリングなどの技術により、高いデータ圧縮が可能になる。

実験結果

リサーチクエスチョン

• RQ1 標準のCFRに比べ、修正されたレジーツマッチングアルゴリズムが、大規模な不完全情報ゲームの解法において収束速度を向上させることができるか？
• RQ2 CFRにおける戦略平均化の必要性を排除することで、収束速度の向上とメモリ使用量の削減が達成できるか？
• RQ3 新しいレジーツマッチング+ 機構が、負のレジーツ蓄積をどの程度低減し、データの圧縮性を向上させるか？
• RQ4 実世界のゲーム例、例えばノーリミット・テキサスホールデムのフォールドサブゲームにおいて、CFR+ は標準CFRに比べてどのように性能を発揮するか？
• RQ5 新しいアルゴリズムは、計算時間を著しく削減しながらも、悪用可能性の低減を維持または向上させることができるか？

主な発見

• 1枚のカードを持つポーカーにおいて、CFR+ はデッキサイズにかかわらず、標準CFRに比べて10倍以上に加速された収束を達成した。
• ノーリミット・テキサスホールデムのフォールドサブゲームにおいて、CFR+ は5ミリベットの悪用可能性に到達するための反復回数を、標準CFRに比べて10倍以上削減した。
• CFR+ では、現在の戦略が実験的に直接的に近似ナッシュ均衡に収束することが確認され、戦略の平均化が不要となった。
• CFR+ は、負のレジーツ値の無制限蓄積を回避することで、メモリ使用量を顕著に削減した。
• アルゴリズムのレジーツデータ構造は、高度な符号化技術を用いることで90％を超える圧縮率が達成可能である。
• 平均化遅延 $ d $ を持つ重み付き平均化スキームにより、特に学習の後半段階で収束速度がさらに向上した。