[論文レビュー] Are ChatGPT and GPT-4 Good Poker Players? -- A Pre-Flop Analysis

Akshat Gupta|arXiv (Cornell University)|Aug 23, 2023

Sports Analytics and Performance被引用数 4

ひとこと要約

本稿では、ゲーム理論最適（GTO）ベンチマークを用いて、ChatGPTとGPT-4がTexas No-Limit Hold’emポーカーのプレイヤーとしてどのように機能するかを評価している。ポーカーの概念であるハンドレンジやポジションの理解は高度であるが、両モデルともGTO戦略に到達できない。ChatGPTはあまりに慎重にプレーする（「ニット」と呼ばれる）が、GPT-4は過度に攻撃的になる（「マニアク」）ため、最適戦略との根本的な不整合が生じており、強力なドメイン理解にもかかわらず、戦略的整合性に欠けていることが示された。

ABSTRACT

Since the introduction of ChatGPT and GPT-4, these models have been tested across a large number of tasks. Their adeptness across domains is evident, but their aptitude in playing games, and specifically their aptitude in the realm of poker has remained unexplored. Poker is a game that requires decision making under uncertainty and incomplete information. In this paper, we put ChatGPT and GPT-4 through the poker test and evaluate their poker skills. Our findings reveal that while both models display an advanced understanding of poker, encompassing concepts like the valuation of starting hands, playing positions and other intricacies of game theory optimal (GTO) poker, both ChatGPT and GPT-4 are NOT game theory optimal poker players. Profitable strategies in poker are evaluated in expectations over large samples. Through a series of experiments, we first discover the characteristics of optimal prompts and model parameters for playing poker with these models. Our observations then unveil the distinct playing personas of the two models. We first conclude that GPT-4 is a more advanced poker player than ChatGPT. This exploration then sheds light on the divergent poker tactics of the two models: ChatGPT's conservativeness juxtaposed against GPT-4's aggression. In poker vernacular, when tasked to play GTO poker, ChatGPT plays like a nit, which means that it has a propensity to only engage with premium hands and folds a majority of hands. When subjected to the same directive, GPT-4 plays like a maniac, showcasing a loose and aggressive style of play. Both strategies, although relatively advanced, are not game theory optimal.

研究の動機と目的

• 大規模言語モデル（LLM）がChatGPT や GPT-4 といったモデルがTexas No-Limit Hold’emポーカーをゲーム理論最適（GTO）レベルでプレーできるかどうかを評価すること。
• これらのモデルがGTOポーカーの原則をプロンプトで提示された際に、どのように解釈し、適用するかを調査すること。
• 不完全情報下での事前フォールド意思決定における、ChatGPTとGPT-4の戦略的行動を比較すること。
• LLMにおけるGTO戦略からの逸脱の根本的原因、特に攻撃性とハンドレンジ選択の観点から特定すること。
• LLMの戦略的不整合が、不確実性に基づく複雑な意思決定タスクへの応用に与える影響を検討すること。

提案手法

• 本研究では、9人テーブルのTexas No-Limit Hold’emポーカーにおける事前フォールド意思決定を評価対象とし、特に最初のレイズ（Raise-First-In）の状況に焦点を当てる。
• モデルには標準化された指示（基本的プレー、GTOプレー、役割固有のプロンプト）を提示し、戦略的行動を引き出す。
• 多様な初期ハンドとポジションをカバーするため、数10万件にのぼるAPIクエリを実行してモデルの反応を評価する。
• 反応は、GUNHOEなどのGTOソルバーから得られた事前定義済みのGTOハンドレンジにマッピングし、逸脱度を測定する。
• 特にリーミング、レイズ、フォールドの頻度に注目して、モデルの行動と最適GTO戦略との統計的比較を実施する。
• 特に早期（UTG）、中盤（MP）、後期（CO、BTN）ポジションにおける行動の違いに注目し、ポジション依存の行動を分析する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTとGPT-4は、Texas No-Limit Hold’emのGTO事前フォールド戦略とどの程度一致しているか？
• RQ2 GTOポーカーをプレーするようプロンプトされた場合と、デフォルト動作との間に、ChatGPTとGPT-4の戦略的行動にどのような差が生じるか？
• RQ3 位置やハンド強さといったポーカーの概念をよく理解しているにもかかわらず、なぜ両モデルがGTOプレーに到達できないのか？
• RQ4 モデルアーキテクチャ（例：GPT-4 対 ChatGPT）は、攻撃的または保守的なプレイスタイルにどのように影響を与えるか？
• RQ5 プロンプト工学とモデルのアイデンティティは、不完全情報ゲームにおける最適戦略からの逸脱に、どのように影響を与えるか？

主な発見

• ChatGPTは、ほとんどすべてのハンドをフォールドし、プレミアム初期ハンドのみをプレーする、非常に保守的なスタイルを示しており、ポーカー用語でいう「ニット」と類似している。
• GPT-4は非常に攻撃的なスタイルを示しており、特にボタン（Button）のような後方ポジションから、最適値よりもはるかに高い割合のハンドをレイズしている。
• GTOプレーを指示された際、GPT-4はさらにレイズ頻度を増加させ、特にボタンでは90％のハンドをレイズするなど、GTOベンチマークを著しく上回っている。
• ポーカーのルールや概念に対する高度な理解があるにもかかわらず、GPT-4はあらゆる状況でリーミング（オープン・レイズ）を行わず、攻撃性に根本的なバイアスがあることが示された。
• GTOプレーを指示された際、ChatGPTはやや攻撃的になるが、依然としてあまりに多くのハンドをフォールドしており、継続的な保守的バイアスが見られる。
• 両モデルともGTOプレーに到達できない：ChatGPTは攻撃性が不足しているため、GPT-4は攻撃性が過剰であるため、自身の戦略的逸脱についての自己認識に欠けていることが明らかになった。