[논문 리뷰] Bayes' Bluff: Opponent Modelling in Poker

Finnegan Southey, Michael Bowling외 5명|arXiv (Cornell University)|2012. 07. 04.

Artificial Intelligence in Games참고 문헌 9인용 수 141

한 줄 요약

이 논문은 Texas Hold'em에서의 상대방 모델링을 위한 베이지안 확률적 프레임워크를 제시하며, 게임의 동역학에 대한 불확실성과 상대 전략에 대한 불확실성을 분리한다. 디리클레 사전분포와 사후 추론을 사용함으로써, 단순화된 Texas Hold'em과 전체 Texas Hold'em 모두에서 효과적인 대응 전략을 가능하게 하며, 부분 관찰 가능하고 비결정적인 게임에서 원칙적인 불확실성 처리를 통해 개선된 탐색 가능성(exploitability)을 입증한다.

ABSTRACT

Poker is a challenging problem for artificial intelligence, with non-deterministic dynamics, partial observability, and the added difficulty of unknown adversaries. Modelling all of the uncertainties in this domain is not an easy task. In this paper we present a Bayesian probabilistic model for a broad class of poker games, separating the uncertainty in the game dynamics from the uncertainty of the opponent's strategy. We then describe approaches to two key subproblems: (i) inferring a posterior over opponent strategies given a prior distribution and observations of their play, and (ii) playing an appropriate response to that distribution. We demonstrate the overall approach on a reduced version of poker using Dirichlet priors and then on the full game of Texas hold'em using a more informed prior. We demonstrate methods for playing effective responses to the opponent, based on the posterior.

연구 동기 및 목표

• 포커와 같은 부분 관찰 가능하고 비결정적인 게임에서 알 수 없는 상대방을 모델링하는 데 도전하는 것.
• 게임의 동역학에 대한 불확실성과 상대 전략에 대한 불확실성을 분리하는 것.
• 관측된 행동들로부터 상대 전략에 대한 사후 분포를 추론하기 위한 베이지안 접근법을 개발하는 것.
• 추론된 사후 분포를 바탕으로 효과적인 대응 전략을 수립하는 것.
• 지식 기반 사전분포를 사용하여 단순화된 포커와 전체 Texas Hold'em에서 방법을 검증하는 것.

제안 방법

• 저자들은 상대 전략를 랜덤 변수로 간주하고 사전분포를 부여함으로써 상대 전략를 모델링하기 위해 베이지안 프레임워크를 사용한다.
• 단순화된 포커에서 상대 행동 확률에 대한 초기 믿음을 표현하기 위해 디리클레 사전분포를 적용한다.
• 관측된 행동들에 기반하여 베이즈 정리에 따라 상대 전략에 대한 사후 분포를 갱신한다.
• 사후 분포에 대한 기대 효용 반응을 계산함으로써 최적의 대응 전략을 도출한다.
• Texas Hold'em에서는 게임 이론적 통찰과 핸드 빈도 모델링을 바탕으로 더 지능적인 사전분포를 사용한다.
• 게임 트리 전반에 걸쳐 불확실성 전파를 통합하여 불확실성 속에서의 의사결정을 안내한다.

실험 결과

연구 질문

• RQ1 부분 관찰 가능하고 비결정적인 게임인 포커에서 베이지안 추론을 어떻게 사용하여 상대 전략를 모델링할 수 있는가?
• RQ2 관측된 게임 플레이를 통해 상대 행동에 대한 사전분포를 얼마나 잘 갱신할 수 있으며, 이는 대응 전략의 향상에 어떤 영향을 미치는가?
• RQ3 실제 포커 환경에서 디리클레 사전분포와 더 지능적인 사전분포를 비교했을 때 어떤 차이가 있는가?
• RQ4 베이지안 상대방 모델링은 Texas Hold'em에서 효과적이고 탐색 가능한 전략을 이끌어낼 수 있는가?
• RQ5 상대 행동에 대한 불확실성은 대응 전략의 강건성과 성능에 어떤 영향을 미치는가?

주요 결과

• 디리클레 사전분포의 사용은 단순화된 포커에서 효과적인 사후 추론을 가능하게 하며, 관측된 행동들을 바탕으로 상대의 경향성에 적응할 수 있도록 한다.
• 전체 Texas Hold'em에서는 지식 기반 사전분포가 균일한 사전분포보다 상대 전략 추정의 정확도를 크게 향상시킨다.
• 베이지안 접근법은 게임의 동역학에 대한 불확실성과 상대 행동에 대한 불확실성을 성공적으로 분리하여 더 명확한 모델링을 가능하게 한다.
• 이 방법은 비적응형 또는 고정된 반응 전략보다 시뮬레이션 플레이에서 뛰어난 탐색 가능한 전략을 생성한다.
• 사후 기반의 대응 전략은 기준 방법에 비해 개선된 기대 효용을 보여준다.
• 효율적인 샘플링 및 근사 기법과 결합할 경우, 이 프레임워크는 전체 Texas Hold'em에까지 확장 가능하다.