[論文レビュー] Double Neural Counterfactual Regret Minimization

Hui Li, Kailiang Hu+4 more|arXiv (Cornell University)|Dec 27, 2018

Artificial Intelligence in Games参考文献 13被引用数 15

ひとこと要約

本稿では、大規模な不完全情報ゲーム（IIG）におけるエンドツーエンド学習を可能にする深層学習ベースのアプローチ、二重ニューラル反事後レジストリミニマイゼーション（DNCFR）を提案する。この手法は、累積レジストリを追跡するネットワークと、平均戦略を表現する別のネットワークを用い、表形式のCFRと同等の収束性能を達成するとともに、初期戦略が劣悪であっても継続的改善が可能で、少量のデータでも良好な一般化性能を示す。

ABSTRACT

Counterfactual Regret Minimization (CRF) is a fundamental and effective technique for solving Imperfect Information Games (IIG). However, the original CRF algorithm only works for discrete state and action spaces, and the resulting strategy is maintained as a tabular representation. Such tabular representation limits the method from being directly applied to large games and continuing to improve from a poor strategy profile. In this paper, we propose a double neural representation for the imperfect information games, where one neural network represents the cumulative regret, and the other represents the average strategy. Furthermore, we adopt the counterfactual regret minimization algorithm to optimize this double neural representation. To make neural learning efficient, we also developed several novel techniques including a robust sampling method, mini-batch Monte Carlo Counterfactual Regret Minimization (MCCFR) and Monte Carlo Counterfactual Regret Minimization Plus (MCCFR+) which may be of independent interests. Experimentally, we demonstrate that the proposed double neural algorithm converges significantly better than the reinforcement learning counterpart.

研究の動機と目的

• 大規模な不完全情報ゲーム（IIG）における表形式の反事後レジストリミニマイゼーション（CFR）の限界を解決すること。特に、メモリ使用量とスケーラビリティの制約が主な問題である。
• 従来の深層強化学習手法が手作業による特徴設計やゲームの抽象化に依存するのを克服し、エンドツーエンド最適化を可能にする。
• 累積レジストリと平均戦略を同時に追跡できるニューラルフレームワークを構築し、表形式表現を用いずにナッシュ均衡に収束することを可能にする。
• 既存のチェックポイントから継続的な戦略改善を可能とし、劣悪な方策からの反復的改善を支援する。
• 完全にニューラルな手法が、Leduc Hold’emのような大規模ゲームにおいて表形式CFRと同等の性能を達成できることを示し、分野における未解決の問題を解決する。

提案手法

• 二重ニューラルアーキテクチャを導入：一つの深層ニューラルネットワークが累積レジストリを学習し、もう一つが平均戦略を学習する。両者とも反事後レジストリミニマイゼーションにより更新される。
• 従来のアウトカムサンプリングより分散を低減するが、外部サンプリングほどメモリを消費しない、新しいロバストサンプリング手法を採用。
• ミニバッチモンテカルロ反事後レジストリミニマイゼーション（MCCFR）およびMCCFR+を実装し、学習の効率性と安定性を向上。
• 微分可能目的関数を用いて二つのネットワークをエンドツーエンドで訓練し、反復的戦略平均化を通じてレジストリの最小化とナッシュ均衡の近似を実現。
• ウォームスタート機構を採用：既存のCFR実行から得た表形式のレジストリおよび戦略値をコピーしてニューラルネットワークを初期化することで、継続的改善を可能にする。
• 特に小さなバッチサイズでも一般化性能を向上させるために、アテンション拡張RNN（例：アテンション付きLSTM）を用いる。

実験結果

リサーチクエスチョン

• RQ1 完全にニューラルでエンドツーエンドのアプローチが、大規模な不完全情報ゲームにおいて表形式CFRと同等の性能を達成できるか？
• RQ2 累積レジストリと平均戦略の二重ニューラル表現が、表形式手法と同等のナッシュ均衡への収束を可能にするか？
• RQ3 1回の反復で訪問されるノードのわずかな割合（例：3.08%）でのみ学習可能な状況でも、未観測の情報集合に対して効果的な一般化が可能か？
• RQ4 既存の戦略チェックポイントからの継続的改善はどの程度効果的か？
• RQ5 アテンションベースのアーキテクチャが、ニューラルCFRにおける一般化性能と収束速度を向上させるか？

主な発見

• Leduc Hold’emにおいて1000反復後、DNCFRは0.02のエキスプロイアビリティを達成し、表形式CFRと同等の性能を示し、NFSPやXFPを著しく上回った。
• 1反復あたりの情報集合の訪問率がたった3.08%（b=50）の状況でも、1000反復以内にエキスプロイアビリティが0.1未満に収束し、優れた一般化性能を示した。
• パラメータ数が極めて少ない状況（埋め込みサイズ8および16、パラメータ数1048および2608）でも、表形式メモリを上回る圧縮性能を維持しながら収束を達成した。
• 2×10^7以上の状態数と3.7×10^6以上の情報集合を有する大規模ゲームにおいて、1反復あたり0.53%のノード（b=500）のみを訪問しても収束を達成し、スケーラビリティを示した。
• RNNアーキテクチャにアテンションを組み込む（例：LSTM+アテンション）ことで、全結合層やRNN、GRUに比べ、収束が速く、戦略品質も向上した。
• 表形式CFRまたはRS-MCCFR+から開始し、その後ニューラル学習に移行することで、継続的改善が可能となった。最初の10反復は表形式手法が担当し、以降はニューラル学習が継続的に改善を実現した。