[論文レビュー] Unlocking the Potential of Deep Counterfactual Value Networks

Ryan Zarick, Bryan Pellegrino+2 more|arXiv (Cornell University)|Jul 20, 2020

Artificial Intelligence in Games参考文献 42被引用数 9

ひとこと要約

この論文では、強化された対戦的後悔最小化（DCFR+）、より大きな学習データ、細分化された行動離散化、およびGPU最適化実装を組み合わせることで、DeepStackを大幅に改善した深層対戦的価値ネットワーク（DCFVnet）ポーカーアイ・Supremusを紹介する。Supremusは、強力なベンチマークエージェントであるSlumbotにゲームあたり176 ± 44小チップの差をつけて勝利し、DeepStackを下回る悪用可能性を示し、適切に最適化されたDCFVnetが不完全情報ゲームで最先端の性能を達成できることを実証した。

ABSTRACT

Deep counterfactual value networks combined with continual resolving provide a way to conduct depth-limited search in imperfect-information games. However, since their introduction in the DeepStack poker AI, deep counterfactual value networks have not seen widespread adoption. In this paper we introduce several improvements to deep counterfactual value networks, as well as counterfactual regret minimization, and analyze the effects of each change. We combined these improvements to create the poker AI Supremus. We show that while a reimplementation of DeepStack loses head-to-head against the strong benchmark agent Slumbot, Supremus successfully beats Slumbot by an extremely large margin and also achieves a lower exploitability than DeepStack against a local best response. Together, these results show that with our key improvements, deep counterfactual value networks can achieve state-of-the-art performance.

研究の動機と目的

• 不完全情報ゲームにおける理論的利点を示すものの、実用的採用が限定的である深層対戦的価値ネットワーク（DCFVnet）の限界を是正すること。
• 特に強力なベンチマークエージェントSlumbotに敗北したという点で、元のDeepStack実装における性能ギャップを特定・解消すること。
• 均衡発見の収束速度、ニューラルネットワークの精度、行動抽象化の粒度、学習データ規模といった、DCFVnetベースエージェントの主要なコンponentsを改善すること。
• これらの改善を経て、DCFVnetがノーリミット・ホールデムポーカーにおいて最先端の性能を達成できることを実証すること。
• 大規模な不完全情報ゲームにおける高速かつ高精度な探索を可能にする、GPUネイティブの高パフォーマンスDCFVnetパイプラインを確立すること。

提案手法

• 均衡発見およびニューラルネットワーク学習における性能ボトル neck を特定するため、DeepStackの再実装を行う。
• DCFR+ を導入し、実験的収束速度が向上し、後悔蓄積が低減する対戦的後悔最小化アルゴリズムの変種を提供する。
• CUDAおよびC++を用いて、メモリ転送のオーバーヘッドを排除し、スループットを最大化する、完全にGPUアクセラレートされたSupremusのカスタム実装を設計する。
• 階層的サブゲームソルビングを用い、各ゲームラウンド（リバー、ターン、フォールド、プリフロップ）ごとに別々のニューラルネットワークを学習させ、大規模なデータ（リバーネットワークで最大5000万サブゲーム）を活用する。
• DeepStackの粗い離散化と比較して、より細分化されたベットオプション（例：ポットの0.33、0.5、0.75倍）を有する多段階の行動抽象化を採用する。
• ニューラルネットワークの学習目的としてHuber損失を採用し、検証損失がDeepStackのそれよりも顕著に低く、価値関数の一般化性能が向上していることを示す。

実験結果

リサーチクエスチョン

• RQ1 主なコンponentsを改善した場合、深層対戦的価値ネットワークはノーリミット・ホールデムポーカーで最先端の性能を達成できるか？
• RQ2 理論的利点があるにもかかわらず、元のDeepStack実装はなぜ広く採用されなかったのか？
• RQ3 均衡発見の収束、ニューラルネットワークの精度、行動抽象化の粒度の向上が、DCFVnet性能にどの程度寄与するか？
• RQ4 GPU最適化されたエンドツーエンドのDCFVnetパイプラインは、Slumbotのような既存の抽象化ベースエージェントを上回れるか？
• RQ5 学習データの増加およびより深い探索深さは、HUNLポーカーにおける悪用可能性と対戦成績にどのように影響するか？

主な発見

• Supremusは、2018年コンピュータポーカー競技会優勝者であり、検索を行わないトップクラスの非検索ポーカーアイであるSlumbotに、ゲームあたり176 ± 44小チップの差をつけて勝利した。
• DeepStackの再実装は、Slumbotにゲームあたり63 ± 40小チップの差で敗北し、元のDCFVnetアプローチが標準ベンチマーク下では競争力がなかったことを示している。
• Supremusは悪用可能性3 mbb/gを達成し、DeepStackのそれよりも顕著に低い水準であり、より強い均衡収束性と相手の戦略的対抗への脆弱性低減を示している。
• Supremusのリバーネットは検証Huber損失が0.015を記録したのに対し、DeepStackの同等のターンネットワークは0.026であったため、価値関数の一般化性能が優れていることが示された。
• Supremusのフォールドネットは検証Huber損失が0.011であり、DeepStackの0.034の3分の1未満であり、深いゲーム状態での学習性能の向上を示している。
• Supremusは、1つのGPUで1,000回のDCFR+イテレーションを0.8秒で完了でき、同じハードウェアでDeepStackの6倍以上にのぼる高速性を達成した。これは、最適化されたGPUメモリアクセスとカーネル設計によるものである。