[论文解读] Equilibrium Approximation Quality of Current No-Limit Poker Bots

Viliam Lisý, Michael Bowling|arXiv (Cornell University)|Dec 22, 2016

Artificial Intelligence in Games参考文献 15被引用 16

一句话总结

本文提出了一种快速、可并行化的局部最优响应（LBR）方法，用于近似无注额德州扑克人工智能的可 exploited 性，揭示即使顶级 ACPC 人工智能也远比每手牌都弃牌更易被 exploit —— 平均每手牌损失超过 3 个大盲注，这是由于卡牌和下注抽象机制存在缺陷，表明在均衡近似方面亟需范式转变。

ABSTRACT

Approximating a Nash equilibrium is currently the best performing approach for creating poker-playing programs. While for the simplest variants of the game, it is possible to evaluate the quality of the approximation by computing the value of the best response strategy, this is currently not computationally feasible for larger variants of the game, such as heads-up no-limit Texas hold'em. In this paper, we present a simple and computationally inexpensive Local Best Response method for computing an approximate lower bound on the value of the best response strategy. Using this method, we show that existing poker-playing programs, based on solving abstract games, are remarkably poor Nash equilibrium approximations.

研究动机与目标

• 开发一种计算高效的估计方法，用于评估无注额德州扑克人工智能的可 exploited 性。
• 解决在 HUNL 等大规模不完美信息博弈中缺乏绝对性能指标的问题。
• 量化当前扑克人工智能与纳什均衡的偏离程度，特别是由于卡牌和下注抽象机制导致的偏差。
• 评估最先进 ACPC 人工智能的实际战略弱点，尽管其在锦标赛中表现强劲。
• 证明即使表现最佳的人工智能，其可 exploited 性也高于每手牌都弃牌。

提出的方法

• 局部最优响应（LBR）方法通过在特定游戏状态中模拟最优响应策略，计算人工智能可 exploited 性的下限估计值。
• LBR 设计为快速且可并行化，可在无需完整求解整个游戏的情况下，大规模探测下注动作空间。
• 该方法不依赖卡牌或下注抽象，因此即使对使用动态终局求解的人工智能也适用。
• 该方法通过在多个游戏街面（如翻前、转牌、河牌）上模拟对手在受限动作集（如弃牌、跟注、最小下注、全下）中的行为来评估策略。
• LBR 应用于 2016 年 ACPC 中的策略，包括使用静态和动态抽象的人工智能，以及使用或不使用转换技术的模型。
• 该方法使用共享网络存储和集群计算（AMD Opteron 6172）运行，每个节点批量处理 1,000 hand，执行时间根据复杂度在 30 分钟至 8 小时之间不等。

实验结果

研究问题

• RQ1 当使用最优响应的下限估计值衡量时，当前顶级无注额德州扑克人工智能的可 exploited 性如何？
• RQ2 卡牌抽象和下注抽象在人工智能整体可 exploited 性中分别贡献了多少？
• RQ3 像 LBR 这样快速且可扩展的方法能否为包含终局求解的复杂策略提供可靠的可 exploited 性估计？
• RQ4 ACPC 锦标赛中人工智能的表现是否可靠地反映了其实际可 exploited 性或战略质量？
• RQ5 LBR 是否能检测到即使使用高级转换技术（如硬转换或软转换）的人工智能也存在高度可 exploited 性？

主要发现

• 即使 2016 年 ACPC 中排名第二和第三的人工智能，其可 exploited 性也高于每手牌都弃牌，平均每手牌损失超过 3 个大盲注。
• 本研究中可 exploited 性最低的人工智能 Act1，其可 exploited 性水平仍远高于简单弃牌策略，表明存在显著的战略缺陷。
• 卡牌抽象对可 exploited 性的贡献远大于下注抽象，后者在减少误差方面影响较小。
• LBR 揭示，使用硬转换技术的人工智能在受到非树状下注动作探测时，每小时可被 exploit 超过 2,400 个小盲注。
• 当被限制在与对手相同的抽象级别时，完整最优响应显示每小时可 exploited 性为 90 个小盲注，而 LBR 的估计值严重偏低，导致每小时损失高达 536 个小盲注。
• 即使仅使用 7 个关键下注动作（弃牌、跟注、最小下注、2x、4x、8x、全下）的极简集合，也足以暴露使用硬转换技术的人工智能的高可 exploited 性。