[论文解读] Poker-CNN: A Pattern Learning Strategy for Making Draws and Bets in Poker Games

Nikolai Yakovenko, Liangliang Cao+2 more|arXiv (Cornell University)|Sep 22, 2015

Artificial Intelligence in Games参考文献 19被引用 5

一句话总结

Poker-CNN 提出了一种数据驱动的卷积神经网络方法，通过自我对弈和模式识别学习德州扑克中的最优弃牌与下注策略，在三种不同扑克变体——视频扑克、限注德州扑克和 2-7 三张换牌——中实现了具有竞争力的性能，且无需依赖特定于游戏的启发式规则或均衡计算。

ABSTRACT

Poker is a family of card games that includes many variations. We hypothesize that most poker games can be solved as a pattern matching problem, and propose creating a strong poker playing system based on a unified poker representation. Our poker player learns through iterative self-play, and improves its understanding of the game by training on the results of its previous actions without sophisticated domain knowledge. We evaluate our system on three poker games: single player video poker, two-player Limit Texas Hold'em, and finally two-player 2-7 triple draw poker. We show that our model can quickly learn patterns in these very different poker games while it improves from zero knowledge to a competitive player against human experts. The contributions of this paper include: (1) a novel representation for poker games, extendable to different poker variations, (2) a CNN based learning model that can effectively learn the patterns in three different games, and (3) a self-trained system that significantly beats the heuristic-based program on which it is trained, and our system is competitive against human expert players.

研究动机与目标

• 开发一种通用扑克对弈系统，通过自我对弈学习，无需依赖特定领域的游戏知识。
• 构建一种统一且可扩展的表示方法，用于多种扑克游戏，以捕捉私人牌、公共信息和下注序列。
• 训练一个深度学习模型，通过其自身预测生成的合成训练数据实现迭代改进。
• 在多种扑克变体上评估模型性能，包括规则复杂且状态空间较大的游戏。
• 证明数据驱动的端到端学习方法可在与启发式智能体和人类专家的对弈中取得具有竞争力的结果。

提出的方法

• 提出一种新颖的、与游戏无关的表示方法，将私人牌、公共牌和下注历史编码为结构化输入格式。
• 采用卷积神经网络（CNN）直接从游戏历史中学习动作价值模式，将游戏状态映射到动作的预期收益/损失。
• 使用自我对弈生成训练数据，其中模型自身的预测用于模拟新的游戏结果，从而实现迭代改进。
• 在最终游戏结果上端到端训练网络（而非中间值），利用德州扑克中移动序列较短的特性。
• 通过使用自身预测生成的数据重新训练模型，形成反馈回路，从而增强战略理解能力。
• 避免显式搜索或均衡计算，而是通过自我生成数据中的模式识别直接学习策略。

实验结果

研究问题

• RQ1 单一深度学习模型是否仅通过自我对弈和统一表示，就能在多种多样的扑克变体中学习到有效的弃牌与下注策略？
• RQ2 与基于启发式规则的智能体和专家知识系统相比，基于数据驱动的 CNN 方法在规则各异的扑克游戏中效果如何？
• RQ3 在不依赖博弈论均衡计算或特定领域抽象的前提下，模型通过迭代自我对弈能实现多大程度的性能提升？
• RQ4 一个在不完美数据（来自弱启发式玩家）上训练的模式学习系统，是否仍能与人类专家对弈中取得具有竞争力的表现？
• RQ5 该模型在具有不同轮数、牌型分布和战略复杂度的游戏中的性能如何扩展？

主要发现

• 在单人视频扑克中，Poker-CNN 的平均回报为 $0.977 ± 0.005，与人类玩家水平相当。
• 在两人限注德州扑克中，Poker-CNN 显著优于一个开源的启发式智能体，并在 500 hand 的样本中与职业人类玩家统计上无显著差异。
• 在 2-7 三张换牌中，该模型的表现显著优于其训练所用的启发式智能体，甚至在前 100 手中领先于一名人类专家玩家。
• 该模型在三种规则、牌型分布和行动序列均不同的扑克变体中表现出强大的泛化能力。
• 通过自我对弈，系统性能实现了持续迭代提升，表明即使训练数据不完美，只要结合自生成数据，仍可实现强大的战略学习。
• 该方法成功绕过了显式博弈论均衡计算或复杂抽象技术的需求，在极少领域特定工程投入的情况下实现了具有竞争力的结果。