[論文レビュー] Single Deep Counterfactual Regret Minimization

Eric Steinberger|arXiv (Cornell University)|Jan 22, 2019

Artificial Intelligence in Games参考文献 30被引用数 13

ひとこと要約

本稿では、過去の反復における価値ネットワークを直接使って最終方策を計算することで、別個の平均戦略ネットワークの必要性を排除する、Deep CFRの変種である単一深層対向的後悔最小化（SD-CFR）を提案する。SD-CFRは近似誤差と学習の複雑さを低減し、ポーカーのような不完全情報ゲームにおいて、Deep CFRに比べて収束が速く、より低い利用可能性を達成する。

ABSTRACT

Counterfactual Regret Minimization (CFR) is the most successful algorithm for finding approximate Nash equilibria in imperfect information games. However, CFR's reliance on full game-tree traversals limits its scalability. For this reason, the game's state- and action-space is often abstracted (i.e. simplified) for CFR, and the resulting strategy is then translated back to the full game, which requires extensive expert-knowledge and often converges to highly exploitable policies. A recently proposed method, Deep CFR, applies deep learning directly to CFR, allowing the agent to intrinsically abstract and generalize over the state-space from samples, without requiring expert knowledge. In this paper, we introduce Single Deep CFR (SD-CFR), a simplified variant of Deep CFR that has a lower overall approximation error by avoiding the training of an average strategy network. We show that SD-CFR is more attractive from a theoretical perspective and empirically outperforms Deep CFR with respect to exploitability and one-on-one play in poker.

研究の動機と目的

• Deep CFRが別個の平均戦略ネットワークに依存するため生じる高い近似誤差と学習の非効率性を是正すること。
• 大規模な不完全情報ゲームにおける方策学習のための、より理論的に整合性があり、実験的に効果的な手法を開発すること。
• 熟練者が設計した抽象化や全ゲームツリー走査を必要とせずに、拡張形式ゲームにおけるエンドツーエンドの深層強化学習を可能にすること。
• 大規模または連続的行動空間を有するゲームにおける一般化性とスケーラビリティを向上させること。

提案手法

• SD-CFRは、Deep CFRの二重ネットワークアーキテクチャを、対向的価値を直接近似する単一の価値ネットワークに置き換える。
• 最終方策は、反復間の価値ネットワーク出力を平均することで算出され、別個の平均戦略ネットワークの必要性を回避する。
• 再現バッファを用いて過去の反復における価値ネットワーク予測を保存し、効率的な戦略集約を可能にする。
• サンプリングに基づくツリー走査を適用して対向的後悔を推定し、未観測状態への一般化を可能にする。
• 価値と戦略の両方を近似する1つのニューラルネットワークを用いることで、モデルの複雑さと誤差伝搬を低減する。
• 最終方策は、価値ネットワークからのアドバンテージ推定値を正規化して導出され、連続的行動区間における統合戦略に基づいて行動が選択される。

実験結果

リサーチクエスチョン

• RQ1 Deep CFRにおける平均戦略ネットワークの削除が、不完全情報ゲームにおける全体的な近似誤差の低減と収束の向上に寄与するか。
• RQ2 SD-CFRは、1対1ポーカーでのプレイにおいて、Deep CFRと比較して利用可能性とパフォーマンスに優れているか。
• RQ3 1つの価値ネットワークが、対向的価値と最終方策の両方を効果的に近似でき、追加の関数近似の必要性を回避できるか。
• RQ4 従来の深層CFRの変種と比較して、SD-CFRは大規模または連続的行動空間に優れた一般化性を示すか。
• RQ5 誤差蓄積の低減により、SD-CFRの理論的収束性がDeep CFRを上回るか。

主な発見

• SD-CFRは、ハッドアップ・ノーリミット・ホールデムにおいて、Deep CFRに比べて顕著に低い利用可能性を達成しており、より強固で、より攻撃されにくい戦略であることが示された。
• 反復的な学習実験から、SD-CFRはDeep CFRに比べて収束が早く、学習の分散が小さいことが確認された。
• 1対1の対戦において、SD-CFRはベースラインエージェントに対して優れたパフォーマンスを示し、Deep CFRを上回った。
• 別個の平均戦略ネットワークの学習を回避することで、SD-CFRは全体的な近似誤差を低減し、Deep CFRにおける主要な誤差要因を排除した。
• 複数の意思決定ポイントを経て到達する情報集合においても、Deep CFRが大きな誤差を示すのに対し、SD-CFRは深いゲームツリー部においても強固なパフォーマンスを維持した。
• SD-CFRは未観測状態に対しても効果的に一般化し、方策学習における価値ネットワークの直接的利用の利点を示した。