[논문 리뷰] Poker-CNN: A Pattern Learning Strategy for Making Draws and Bets in Poker Games

Nikolai Yakovenko, Liangliang Cao외 2명|arXiv (Cornell University)|2015. 09. 22.

Artificial Intelligence in Games참고 문헌 19인용 수 5

한 줄 요약

Poker-CNN는 자기 훈련과 패턴 인식을 통해 비디오 포커, 리밋 텍사스 홀드아임, 2-7 트리플 드로우를 포함한 세 가지의 서로 다른 포커 변형에서 최적의 드로잉 및 베팅 전략을 학습하는 데이터 기반의 컨volutional 신경망 접근법을 제안한다. 이는 게임에 특화된 히ュ리스틱이나 나 Nash 균형 계산에 의존하지 않으며, 경쟁 가능한 성능을 달성한다.

ABSTRACT

Poker is a family of card games that includes many variations. We hypothesize that most poker games can be solved as a pattern matching problem, and propose creating a strong poker playing system based on a unified poker representation. Our poker player learns through iterative self-play, and improves its understanding of the game by training on the results of its previous actions without sophisticated domain knowledge. We evaluate our system on three poker games: single player video poker, two-player Limit Texas Hold'em, and finally two-player 2-7 triple draw poker. We show that our model can quickly learn patterns in these very different poker games while it improves from zero knowledge to a competitive player against human experts. The contributions of this paper include: (1) a novel representation for poker games, extendable to different poker variations, (2) a CNN based learning model that can effectively learn the patterns in three different games, and (3) a self-trained system that significantly beats the heuristic-based program on which it is trained, and our system is competitive against human expert players.

연구 동기 및 목표

• 도메인 특화된 게임 지식에 의존하지 않고 자기 훈련을 통해 학습하는 일반 목적의 포커 플레이어 시스템을 개발하는 것.
• 개인 카드, 공개 정보, 베팅 순서를 모두 포괄하는 통합적이고 확장 가능한 표현 방식을 제작하는 것.
• 자신의 예측에서 생성된 합성 훈련 데이터를 통해 반복적으로 향상되는 딥 러닝 모델을 훈련하는 것.
• 복잡한 규칙과 더 큰 상태 공간을 가진 다양한 포커 변형에서 모델의 성능을 평가하는 것.
• 데이터 기반의 종단 간 학습 접근법이 히ュ리스틱 에이전트와 인간 전문가 모두와 경쟁 가능한 결과를 낼 수 있음을 입증하는 것.

제안 방법

• 개인 카드, 공개 카드, 베팅 이력 등을 구조화된 입력 형식으로 인코딩하는 새로운 게임 무관 표현 방식을 제안한다.
• 게임 이력에서 직접 행동가치 패턴을 학습하기 위해 컨volutional 신경망(CNN)을 활용하여 게임 상태를 해당 행동의 기대 수익/손실로 매핑한다.
• 자기 훈련을 통해 훈련 데이터를 생성하며, 모델의 예측을 활용해 새로운 게임 결과를 시뮬레이션함으로써 반복적인 향상이 가능하도록 한다.
• 중간 값이 아닌 최종 게임 결과에 대해 네트워크를 종단 간으로 훈련하며, 포커에서 일반적인 짧은 수순을 유리하게 활용한다.
• 자신의 예측에서 생성된 데이터로 재훈련함으로써 성능을 향상시키며, 전략적 이해도를 높이는 피드백 루프를 형성한다.
• 명시적인 탐색이나 균형 계산을 피하고, 자기 생성 데이터에서 패턴 인식을 통해 직접 정책을 학습한다.

실험 결과

연구 질문

• RQ1 자기 훈련과 통합 표현 방식만을 사용하여, 다양한 포커 변형에서 효과적인 드로잉 및 베팅 전략을 하나의 딥 러닝 모델이 학습할 수 있는가?
• RQ2 규칙이 다른 포커 게임에서, 히ュ리스틱 기반 에이전트나 전문 지식 시스템에 비해 데이터 기반의 CNN 기반 접근법은 얼마나 효과적인가?
• RQ3 게임 이론적 균형 계산이나 도메인 특화 추상화에 의존하지 않고, 반복적인 자기 훈련을 통해 모델이 얼마나 향상될 수 있는가?
• RQ4 약한 히ュ리스틱 플레이어로부터 생성된 불완전한 데이터로 훈련된 패턴 학습 시스템이 여전히 인간 전문가와 경쟁 가능한 성능을 낼 수 있는가?
• RQ5 다른 라운드 수, 카드 분포, 전략적 복잡도를 가진 게임들에서 모델의 성능은 어떻게 스케일링되는가?

주요 결과

• 단일 플레이어 비디오 포커에서 Poker-CNN는 평균 수익 $0.977 ± 0.005를 기록하여 인간 플레이어 수준의 성능를 달성했다.
• 이인원 리밋 텍사스 홀드아임에서 Poker-CNN는 오픈소스 히ュ리스틱 기반 에이전트를 상당히 압도했으며, 500수의 샘플에서 전문 인간 플레이어와 통계적으로 동등한 성과를 보였다.
• 2-7 트리플 드로우에서, 모델는 훈련에 사용된 히ュ리스틱 에이전트보다 상당히 뛰어난 성능을 보였고, 첫 100수 동안 인간 전문가 플레이어를 앞서 나갔다.
• 다른 규칙, 카드 분포, 행동 순서를 가진 세 가지의 서로 다른 포커 변형에서 강력한 일반화 능력을 보였다.
• 자기 훈련을 통해 반복적으로 성능이 향상되었으며, 불완전한 훈련 데이터라도 자기 생성 데이터와 결합하면 강력한 전략 학습이 가능함을 보여주었다.
• 명시적인 게임 이론적 균형 계산이나 복잡한 추상화 기법을 피하면서도, 최소한의 도메인 특화 엔지니어링으로도 경쟁 가능한 성능을 달성하였다.