[논문 리뷰] Measuring the Size of Large No-Limit Poker Games

Michael Johanson|arXiv (Cornell University)|2013. 01. 01.

Artificial Intelligence in Games참고 문헌 8인용 수 40

한 줄 요약

이 논문은 연간 컴퓨터 póker 경쟁에서 사용된 두 명의 플레이어가 참가하는 무한한 한도 없는 텍사스 홀드'em 포커 게임의 크기를 정확하게 계산하기 위한 새로운 알고리즘을 제시한다. 이 알고리즘은 게임 상태, 정보 집합, 행동, 종료 노드와 같은 핵심 게임 이론적 구성 요소를 측정한다. 이 방법은 무한한 한도 없는 포커 게임에서 이러한 지표에 대한 첫 번째 정확한 수를 제공하며, 계산 게임 이론 분야에서 오랫동안 존재해 온 추정 갭을 해결한다.

ABSTRACT

In the eld of computational game theory, games are often compared in terms of their size. This can be measured in several ways, including the number of unique game states, the number of decision points, and the total number of legal actions over all decision points. These numbers are either known or estimated for a wide range of classic games such as chess and checkers. In the stochastic and imperfect information game of poker, these sizes are easily computed in \limit games which restrict the players’ available actions, but until now had only been estimated for the more complicated o-limit variants. In this paper, we describe a simple algorithm for quickly computing the size of two-player no-limit poker games, provide an implementation of this algorithm, and present for the rst time precise counts of the number of game states, information sets, actions and terminal nodes in the no-limit poker games played in the Annual Computer Poker Competition.

연구 동기 및 목표

• 계산 게임 이론 분야에서 무한한 한도 없는 포커 게임의 정확한 크기 측정치 부족 문제를 해결하기 위해.
• 두 명의 플레이어가 참가하는 무한한 한도 없는 포커 게임에서 게임 상태, 정보 집합, 행동, 종료 노드의 정확한 수를 계산할 수 있는 효율적인 알고리즘을 개발하기 위해.
• 연간 컴퓨터 포커 경쟁에서 사용된 무한한 한도 없는 포커 게임의 정확한 크기 지표를 제공하기 위해.
• 한도 있는 게임과 체스, 체커와 같은 고전적인 게임에서 제공되는 정확한 수와 무한한 한도 없는 포커 게임의 추정 크기 간 격차를 메우기 위해.

제안 방법

• 저자들은 게임 트리를 구조적으로 하향식으로 순환하는 새로운 재귀 알고리즘을 설계하였다.
• 이 알고리즘은 모든 가능한 카드 조합, 베팅 순서, 베팅 스택 크기의 조합을 추적함으로써 고유한 게임 상태의 수를 계산한다.
• 중복 계산을 방지하기 위해 동적 프로그래밍을 활용하여 브루트 포스 탐색에 비해 효율성을 크게 향상시킨다.
• 플레이어의 개인 카드와 공개 보드 기반으로 구분할 수 없는 게임 상태들을 집계함으로써 정보 집합을 추적한다.
• 모든 결단 지점의 행동 수를 합산하여 총 행동 수를 계산하며, 각 노드에서 유효한 모든 베팅 옵션을 고려한다.
• 무한한 한도 없는 포커의 지수적 복잡도를 처리할 수 있도록 최적화된 구현을 통해 표준 게임 변형에서 정확한 계산이 가능해졌다.

실험 결과

연구 질문

• RQ1 연간 컴퓨터 포커 경쟁에서 플레이되는 두 명의 플레이어가 참가하는 무한한 한도 없는 텍사스 홀드'em에서 게임 상태의 정확한 수는 얼마인가?
• RQ2 이러한 무한한 한도 없는 포커 게임에서 정보 집합의 수는 얼마이며, 게임 상태와 비교해보면 어떻게 되는가?
• RQ3 게임 내 모든 결단 지점에서 이용 가능한 합법적 행동의 총 수는 얼마인가?
• RQ4 이러한 무한한 한도 없는 포커 게임의 게임 트리에서 종료 노드(종료 상태)의 수는 몇 개인가?
• RQ5 추정에 의존하지 않고도 효율적인 알고리즘이 이 모든 정확한 지표를 계산할 수 있는가?

주요 결과

• 논문은 두 명의 플레이어가 참가하는 무한한 한도 없는 텍사스 홀드'em에서 게임 상태의 첫 번째 정확한 수를 제공하며, 이는 이전에 추정된 수치보다 훨씬 크다는 것이 드러났다.
• 정보 집합의 수는 게임 상태의 수보다 상당히 적은 것으로 나타나, 정보의 불완전성으로 인해 상태 집합이 크게 압축된다는 점을 시사한다.
• 모든 결단 지점에서의 행동 총수는 정확하게 계산되었으며, 이는 무한한 한도 없는 포커에서 인공지능 에이전트의 복잡도에 대한 새로운 기준이 된다.
• 종료 노드의 수는 정확히 결정되었으며, 이는 게임 트리의 깊이와 결과 분포 평가에 더 나은 기반을 제공한다.
• 알고리즘이 계산 가능한 시간 내에 모든 지표를 성공적으로 계산하여 표준 무한한 한도 없는 포커 변형에 대한 확장성을 입증하였다.
• 결과적으로 이 연구는 체스나 체커와 같은 고전 게임과 비교할 수 있는 확률적이고 정보가 불완전한 게임에서의 크기 측정 기준을 새롭게 설정하였다.