[논문 리뷰] Equilibrium Approximation Quality of Current No-Limit Poker Bots

Viliam Lisý, Michael Bowling|arXiv (Cornell University)|2016. 12. 22.

Artificial Intelligence in Games참고 문헌 15인용 수 16

한 줄 요약

이 논문은 무한한 블라인드 텍사스 홀드아임 포커 보트의 유용성을 근사하기 위해 빠르고 병렬 처리가 가능한 局소 최적 반응(LBR) 방법을 도입한다. 이는 최고 수준의 ACPC 보트가 블라인드를 모두 폴드하는 것보다 훨씬 더 높은 유용성(평균으로 한 게임당 3 블라인드 이상 손실)을 보이며, 이는 카드 및 베팅 추상화의 결함 때문이며, 균형 근사의 패러다임 전환의 필요성을 시사한다.

ABSTRACT

Approximating a Nash equilibrium is currently the best performing approach for creating poker-playing programs. While for the simplest variants of the game, it is possible to evaluate the quality of the approximation by computing the value of the best response strategy, this is currently not computationally feasible for larger variants of the game, such as heads-up no-limit Texas hold'em. In this paper, we present a simple and computationally inexpensive Local Best Response method for computing an approximate lower bound on the value of the best response strategy. Using this method, we show that existing poker-playing programs, based on solving abstract games, are remarkably poor Nash equilibrium approximations.

연구 동기 및 목표

• 무한 블라인드 텍사스 홀드아임 포커 보트의 유용성을 추정하기 위한 계산적으로 효율적인 방법을 개발하기 위해.
• HUNL와 같은 대규모 비완전 정보 게임에서 절대 성능 측정 기준의 부족을 해결하기 위해.
• 현재 포커 보트가 나시 균형에서 얼마나 벗어나 있는지, 특히 카드 및 베팅 추상화로 인해 얼마나 벗어나는지 정량화하기 위해.
• 강력한 대회 성과에도 불구하고 최신 ACPC 보트의 실제 전술적 약점을 평가하기 위해.
• 심지어 최고 성능을 내는 보트조차도 모든 패를 폴드하는 것보다 더 유용성이 높다는 것을 입증하기 위해.

제안 방법

• 국소 최적 반응(LBR) 방법은 특정 게임 상태에서 최적 반응 플레이를 시뮬레이션하여 보트의 유용성에 하한 추정치를 계산한다.
• LBR는 빠르고 병렬 처리가 가능하도록 설계되어, 전체 게임 해결이 필요 없이도 베팅 행동 공간을 대규모로 탐색할 수 있다.
• 카드나 베팅 추상화에 의존하지 않아, 동적 게임 종료 해결을 사용하는 보트에도 적용 가능하다.
• 이 방법은 여러 게임 스트리트에 걸쳐 제한된 행동 집합(예: 폴드, 콜, 최소 베팅, 올인)에서 상대 플레이를 시뮬레이션하여 전략을 평가한다.
• LBR는 2016년 ACPC의 전략에 적용되었으며, 정적 및 동적 추상화를 사용하거나 번역 기법을 적용한 보트를 포함한다.
• 실행 시간은 복잡성에 따라 30분에서 8시간까지 다양하며, 공유 네트워크 드라이브와 클러스터 컴퓨팅(AMD Opteron 6172)을 사용해 노드당 1,000장의 게임 배치를 실행한다.

실험 결과

연구 질문

• RQ1 하한 추정치를 통한 최적 반응으로 측정했을 때, 현재 최고 성능을 내는 무한 블라인드 텍사스 홀드아임 포커 보트는 얼마나 유용성이 높은가?
• RQ2 카드 추상화와 베팅 추상화는 포커 보트의 총 유용성에 얼마나 기여하는가?
• RQ3 LBR와 같은 빠르고 확장 가능한 방법이, 게임 종료 해결 기능을 가진 복잡한 전략에 대해 신뢰할 수 있는 유용성 추정치를 제공할 수 있는가?
• RQ4 ACPC 대회에서의 보트 성능은 실제 유용성 또는 전술적 품질을 신뢰할 수 있는 지표인가?
• RQ5 LBR는 하드 또는 소프트 번역 기법을 사용하는 보트의 경우에도 높은 유용성을 탐지할 수 있는가?

주요 결과

• 2016년 ACPC에서 두 번째, 세 번째로 높은 성능을 낸 보트조차도 모든 패를 폴드하는 것보다 더 높은 유용성을 보이며, 평균으로 한 게임당 3 블라인드 이상 손실을 입는다.
• 연구에서 가장 유용성이 낮은 보트인 Act1조차도 단순한 폴더보다 훨씬 높은 유용성 수준을 보이며, 심각한 전술적 결함이 있음을 시사한다.
• 카드 추상화가 베팅 추상화보다 훨씬 더 큰 기여를 하며, 후자는 오류 감소에 덜 영향을 준다.
• LBR는 하드 번역 기법을 사용하는 보트가 트리 외부의 베팅 행동으로 탐색당할 경우 시간당 2,400 소형 블라인드 이상의 유용성을 드러낸다.
• 상대방과 동일한 추상화에 제한된 경우, 완전한 최적 반응은 시간당 90 소형 블라인드의 유용성을 보이지만, LBR는 이에 비해 극명하게 낮게 추정하여 시간당 536 소형 블라인드의 손실을 기록한다.
• 단지 7개의 핵심 베팅 행동(폴드, 콜, 최소 베팅, 2배, 4배, 8배, 올인)의 최소 집합만으로도 하드 번역을 사용하는 보트의 높은 유용성을 드러내는 데 충분하다.