[论文解读] Are ChatGPT and GPT-4 Good Poker Players? -- A Pre-Flop Analysis

Akshat Gupta|arXiv (Cornell University)|Aug 23, 2023

Sports Analytics and Performance被引用 4

一句话总结

本文使用博弈论最优（GTO）基准评估了ChatGPT和GPT-4作为德州扑克无注额德州扑克玩家的表现。尽管对扑克概念（如手牌范围和位置）有深入理解，但两个模型均未能实现GTO玩法：ChatGPT表现过于保守（‘紧手’），而GPT-4则过于激进（‘疯子’），表明尽管具备较强的领域理解能力，其策略仍与最优策略存在根本性偏差。

ABSTRACT

Since the introduction of ChatGPT and GPT-4, these models have been tested across a large number of tasks. Their adeptness across domains is evident, but their aptitude in playing games, and specifically their aptitude in the realm of poker has remained unexplored. Poker is a game that requires decision making under uncertainty and incomplete information. In this paper, we put ChatGPT and GPT-4 through the poker test and evaluate their poker skills. Our findings reveal that while both models display an advanced understanding of poker, encompassing concepts like the valuation of starting hands, playing positions and other intricacies of game theory optimal (GTO) poker, both ChatGPT and GPT-4 are NOT game theory optimal poker players. Profitable strategies in poker are evaluated in expectations over large samples. Through a series of experiments, we first discover the characteristics of optimal prompts and model parameters for playing poker with these models. Our observations then unveil the distinct playing personas of the two models. We first conclude that GPT-4 is a more advanced poker player than ChatGPT. This exploration then sheds light on the divergent poker tactics of the two models: ChatGPT's conservativeness juxtaposed against GPT-4's aggression. In poker vernacular, when tasked to play GTO poker, ChatGPT plays like a nit, which means that it has a propensity to only engage with premium hands and folds a majority of hands. When subjected to the same directive, GPT-4 plays like a maniac, showcasing a loose and aggressive style of play. Both strategies, although relatively advanced, are not game theory optimal.

研究动机与目标

• 评估类似ChatGPT和GPT-4的大语言模型是否能够以博弈论最优（GTO）水平进行德州无注额德州扑克游戏。
• 研究这些模型在被提示时如何理解并应用GTO扑克原则。
• 比较ChatGPT和GPT-4在不完全信息条件下预发牌决策中的战略行为。
• 识别大语言模型在策略上偏离GTO的根本原因，特别是在攻击性与手牌范围选择方面。
• 探讨大语言模型在复杂、不确定性驱动决策任务中策略偏差的潜在影响。

提出的方法

• 本研究评估9人德州无注额德州扑克游戏中预发牌阶段的决策，重点关注首次加注（raise-first-in）情境。
• 通过标准化指令对模型进行提示：基础玩法、GTO玩法，以及角色特定提示，以激发特定策略行为。
• 共发起数十万次API查询，以评估模型在各种起手牌和位置下的响应。
• 通过将响应映射到预定义的GTO手牌范围（例如来自GUNHOE等GTO求解器的范围）来衡量偏离程度。
• 对模型行为与最优GTO策略进行统计比较，特别关注跟注（limping）、加注和弃牌的频率。
• 分析聚焦于位置相关行为，尤其是早期位置（UTG）、中位置（MP）、按钮位（CO）和大盲位（BTN）的差异。

实验结果

研究问题

• RQ1 ChatGPT和GPT-4在德州无注额德州扑克中，与GTO预发牌策略的契合程度如何？
• RQ2 当被提示以GTO方式玩扑克时，ChatGPT和GPT-4的战略行为与默认行为有何不同？
• RQ3 为何尽管两者都展现出对位置和手牌强度等扑克概念的深刻理解，却仍无法实现GTO玩法？
• RQ4 模型架构（如GPT-4与ChatGPT）在塑造攻击性或保守型打法方面起到何种作用？
• RQ5 提示工程和模型身份如何影响不完全信息游戏中策略与最优策略的偏离？

主要发现

• ChatGPT表现出保守打法，多数手牌选择弃牌，仅用强起手牌参与游戏，与扑克术语中的‘紧手’（nit）相似。
• GPT-4展现出高度激进的风格，加注的手牌比例显著高于最优水平，尤其是在按钮位（Button）等后期位置。
• 当被提示以GTO方式游戏时，GPT-4进一步提高了加注频率，尤其在按钮位，其加注频率高达90%，远超GTO基准。
• 尽管其对扑克规则和概念有深入理解，GPT-4在任何情境下均未选择跟注，表明其存在对攻击性的根本性偏见。
• 当被提示以GTO方式游戏时，ChatGPT的攻击性有所提升，但仍弃牌过多，表明其保守倾向持续存在。
• 两个模型均未能实现GTO玩法：ChatGPT因攻击性不足，GPT-4因攻击性过度，揭示了其对自身策略偏差缺乏自我认知。