[論文レビュー] Poker-CNN: A Pattern Learning Strategy for Making Draws and Bets in Poker Games

Nikolai Yakovenko, Liangliang Cao+2 more|arXiv (Cornell University)|Sep 22, 2015

Artificial Intelligence in Games参考文献 19被引用数 5

ひとこと要約

Poker-CNNは、自己対戦とパターン認識を通じて、ポーカーにおける最適な引き戦略およびベッティング戦略を学ぶデータ駆動型の畳み込みニューラルネットワークアプローチを提案する。このアプローチは、ゲーム固有のヒューリスティクスやナッシュ均衡の計算に依存せず、ビデオポーカー、リミット・テキサスホールデム、2-7トリプルドローの3つの異なるポーカー形式において、競争力のあるパフォーマンスを達成した。

ABSTRACT

Poker is a family of card games that includes many variations. We hypothesize that most poker games can be solved as a pattern matching problem, and propose creating a strong poker playing system based on a unified poker representation. Our poker player learns through iterative self-play, and improves its understanding of the game by training on the results of its previous actions without sophisticated domain knowledge. We evaluate our system on three poker games: single player video poker, two-player Limit Texas Hold'em, and finally two-player 2-7 triple draw poker. We show that our model can quickly learn patterns in these very different poker games while it improves from zero knowledge to a competitive player against human experts. The contributions of this paper include: (1) a novel representation for poker games, extendable to different poker variations, (2) a CNN based learning model that can effectively learn the patterns in three different games, and (3) a self-trained system that significantly beats the heuristic-based program on which it is trained, and our system is competitive against human expert players.

研究の動機と目的

• ドメイン固有のゲーム知識に依存せずに自己対戦から学習する汎用的なポーカーAIシステムの開発。
• プライベートカード、パブリック情報、ベッティング履歴を包括する、統一的かつ拡張可能な表現形式の構築。
• 自身の予測から合成された訓練データを生成することで、反復的に改善する深層学習モデルの訓練。
• ルールが複雑で状態空間が大きなゲームを含む、複数のポーカー形式におけるモデルパフォーマンスの評価。
• データ駆動型でエンドツーエンドの学習アプローチが、ヒューリスティクスベースのエージェントおよび人間の専門家と同等の結果を達成できることの実証。

提案手法

• ゲームに依存しない新規な表現形式を提案。プライベートカード、パブリックカード、ベッティング履歴を構造化された入力形式にエンコードする。
• 畳み込みニューラルネットワーク（CNN）を用いて、ゲーム履歴から直接行動価値のパターンを学習。ゲーム状態を、行動の期待収益／損失にマッピングする。
• 自己対戦を用いて訓練データを生成。モデル自身の予測を用いて新しいゲーム結果をシミュレートすることで、反復的改善を可能にする。
• 中間価値ではなく、最終的なゲーム結果に基づいてネットワークをエンドツーエンドで訓練。ポーカーの短い手順が特徴である。
• 自身の予測から生成されたデータを再訓練することでモデルパフォーマンスを向上。戦略的認識の強化を図るフィードバックループを構築。
• 明示的な探索や均衡計算を回避。代わりに、自己生成データからのパターン認識を通じて直接的な方策を学習する。

実験結果

リサーチクエスチョン

• RQ1 同一の深層学習モデルが、自己対戦と統一表現のみに依存して、多様なポーカー形式において効果的な引き戦略およびベッティング戦略を学習できるか？
• RQ2 ルールが異なるポーカーゲームにおいて、ヒューリスティクスベースのエージェントや専門家知識システムと比較して、データ駆動型のCNNベースのアプローチはどの程度有効か？
• RQ3 ゲーム理論的均衡計算やドメイン固有の抽象化に依存せず、反復的自己対戦によってどの程度モデルの性能が向上できるか？
• RQ4 弱いヒューリスティクスプレーヤーからの不完全なデータで訓練されたパターン学習システムでも、人間の専門家と同等のパフォーマンスを達成できるか？
• RQ5 手数、カード配分、戦略的複雑さが異なるゲームにおいて、モデルのパフォーマンスはどのようにスケーリングするか？

主な発見

• シングルプレーヤーのビデオポーカーにおいて、Poker-CNNは平均リターン $0.977 ± 0.005 を達成し、人間プレーヤーと同等のパフォーマンスを示した。
• 2人対戦のリミット・テキサスホールデムにおいて、Poker-CNNはオープンソースのヒューリスティクスベースエージェントを著しく上回り、500手のサンプルでプロのヒューリスティクスプレーヤーと統計的に同等の結果を出した。
• 2-7トリプルドローにおいて、Poker-CNNは訓練に使ったヒューリスティクスエージェントよりも著しく優れており、最初の100手では人間の専門家プレーヤーをリードした。
• ルール、カード配分、行動シーケンスが異なる3つの異なるポーカー形式において、モデルは強力な一般化能力を示した。
• 自己対戦による反復的改善を通じて、モデルのパフォーマンスは向上した。不完全な訓練データであっても、自己生成データと組み合わせることで強力な戦略的学習が可能であることが示された。
• 明示的なゲーム理論的均衡計算や複雑な抽象化技術を回避することができ、最小限のドメイン固有の工学的設計で、競争力のある結果を達成した。