[논문 리뷰] Are ChatGPT and GPT-4 Good Poker Players? -- A Pre-Flop Analysis

Akshat Gupta|arXiv (Cornell University)|2023. 08. 23.

Sports Analytics and Performance인용 수 4

한 줄 요약

이 논문은 게임 이론 최적(GTO) 기준을 사용하여 챗지피티와 GPT-4를 프리플랍 텍사스 홀드아임 노리밋 포커 플레이어로 평가한다. 핸드 레인지와 위치와 같은 포커 개념에 대한 이해가 뛰어나지만, 양 모델 모두 GTO 플레이를 달성하지 못한다: 챗지피티는 너무 보수적으로 플레이(‘닛’처럼), GPT-4는 너무 과도하게 공격적이다(‘매니아’처럼), 이는 강력한 도메인 이해에도 불구하고 최적 전략과의 근본적 불일치를 보여준다.

ABSTRACT

Since the introduction of ChatGPT and GPT-4, these models have been tested across a large number of tasks. Their adeptness across domains is evident, but their aptitude in playing games, and specifically their aptitude in the realm of poker has remained unexplored. Poker is a game that requires decision making under uncertainty and incomplete information. In this paper, we put ChatGPT and GPT-4 through the poker test and evaluate their poker skills. Our findings reveal that while both models display an advanced understanding of poker, encompassing concepts like the valuation of starting hands, playing positions and other intricacies of game theory optimal (GTO) poker, both ChatGPT and GPT-4 are NOT game theory optimal poker players. Profitable strategies in poker are evaluated in expectations over large samples. Through a series of experiments, we first discover the characteristics of optimal prompts and model parameters for playing poker with these models. Our observations then unveil the distinct playing personas of the two models. We first conclude that GPT-4 is a more advanced poker player than ChatGPT. This exploration then sheds light on the divergent poker tactics of the two models: ChatGPT's conservativeness juxtaposed against GPT-4's aggression. In poker vernacular, when tasked to play GTO poker, ChatGPT plays like a nit, which means that it has a propensity to only engage with premium hands and folds a majority of hands. When subjected to the same directive, GPT-4 plays like a maniac, showcasing a loose and aggressive style of play. Both strategies, although relatively advanced, are not game theory optimal.

연구 동기 및 목표

• 대규모 언어모델이 챗지피티와 GPT-4처럼 텍사스 홀드아임 노리밋 포커를 게임 이론 최적(GTO) 수준에서 플레이할 수 있는지 평가하는 것.
• 이러한 모델들이 프롬프트를 통해 GTO 포커 원칙을 어떻게 해석하고 적용하는지 조사하는 것.
• 부분 정보 상황에서의 프리플랍 의사결정에서 챗지피티와 GPT-4의 전략적 행동을 비교하는 것.
• LLM에서 GTO 플레이에서의 이탈 원인, 특히 공격성과 핸드 레인지 선택 측면에서의 근본 원인을 규명하는 것.
• LLM의 전략적 불일치가 복잡하고 불확실성이 높은 의사결정 과제에 활용될 때 미치는 영향을 탐색하는 것.

제안 방법

• 연구는 9인 참여의 텍사스 홀드아임 노리밋 포커 게임에서 프리플랍 결정을 평가하며, 주로 레이즈-프리스트인 시나리오에 집중한다.
• 모델들은 표준화된 지시를 받는다: 기본 플레이, GTO 플레이, 역할 기반 프롬프트를 통해 전략적 행동을 유도한다.
• 다수의 수십만 개의 API 쿼리가 다양한 시작 핸드와 위치에서 모델 응답을 평가하기 위해 수행된다.
• 응답은 GUNHOE 같은 GTO 솔버에서 유래한 사전 정의된 GTO 핸드 레인지에 매핑되어 이격도를 측정한다.
• 특히 림프, 레이즈, 폴드 빈도 측면에서 모델 행동과 최적 GTO 전략 간 통계적 비교를 수행한다.
• 분석은 특히 언더드어터, 중앙, 커티터, 딜러 위치(UTG, MP, CO, BTN)에서의 위치 기반 행동에 집중한다.

실험 결과

연구 질문

• RQ1 챗지피티와 GPT-4는 텍사스 홀드아임 노리밋 포커에서 어느 정도 GTO 프리플랍 전략과 일치하는가?
• RQ2 GTO 포커 플레이를 지시받았을 때 챗지피티와 GPT-4의 전략적 행동은 기본 동작과 어떻게 다를까?
• RQ3 포지션과 핸드 강도 같은 포커 개념에 대해 강력한 이해를 보였음에도 불구하고, 왜 두 모델 모두 GTO 플레이를 달성하지 못하는가?
• RQ4 모델 아키텍처(예: GPT-4 대비 챗지피티)는 공격적 또는 보수적인 플레이 스타일 형성에 어떤 역할을 하는가?
• RQ5 프롬프트 엔지니어링과 모델 정체성은 부분 정보 게임에서 최적 전략으로부터의 이격에 어떤 영향을 미치는가?

주요 결과

• 챗지피티는 보수적인 플레이 스타일을 보이며, 대부분의 핸드를 폴드하고 고급 시작 핸드에서만 플레이한다. 포커 용어로는 ‘닛’과 유사하다.
• GPT-4는 매우 공격적인 스타일을 보이며, 특히 딜러 위치에서 최적 수준보다 훨씬 높은 비율의 핸드를 레이즈한다.
• GTO 플레이를 지시받았을 때 GPT-4는 레이즈 빈도를 더욱 높이며, 특히 딜러 위치에서는 90%의 핸드를 레이즈하여 GTO 기준을 크게 초과한다.
• 포커 규칙과 개념에 대한 뛰어난 이해에도 불구하고, GPT-4는 어떤 상황에서도 림프를 하지 않아 공격성에 대한 근본적인 편향을 보인다.
• GTO 플레이를 지시받았을 때 챗지피티는 더 공격적으로 변하지만 여전히 너무 많은 핸드를 폴드하여 보수적 성향이 지속됨을 보여준다.
• 두 모델 모두 GTO 플레이를 달성하지 못한다: 챗지피티는 공격성이 부족하여, GPT-4는 공격성이 지나쳐, 각각 자신의 전략적 이탈에 대한 자기 인식 부족을 드러낸다.