[논문 리뷰] The Game of Pure Strategy is solved!

Glenn C. Rhoads, Laurent Bartholdi|2012. 02. 03.

Artificial Intelligence in Games참고 문헌 1인용 수 4

한 줄 요약

이 논문은 동적 프rogramming과 선형 프로그래밍을 활용하여 N=13인 Pure Strategy 게임(고플시엘)을 해결하며, 최적 전략이 짝수 또는 반대 성질의 입찰보다 홀수 또는 동일 성질의 입찰을 선호함을 드러내며, 예상치 못한 결과로 상대값의 두 배 이상을 입찰하는 경우가 최적임을 규명한다. 이는 모든 수의 정확한 최적 확률 분포를 계산하여 입찰 행동에서 강한 홀짝 편향을 보여준다.

ABSTRACT

We solve the classical "Game of Pure Strategy" using linear programming. We notice an intricate even-odd behavior in the results of our computations, that seems to encourage odd or maximal bids.

연구 동기 및 목표

• N=13인 두 명의 플레이어가 참여하는 비정보 완전 제로섬 게임인 Pure Strategy 게임(고플시엘)을 해결한다.
• 결정론적 전략의 한계를 극복하기 위해 기대 점수 획득을 최대화하는 최적의 혼합 전략을 규명한다.
• 특히 입찰의 성질(홀수 대 짝수)과 상대카드 대비 입찰 크기의 영향을 포함한 최적 입찰 행동의 구조적 패턴을 분석한다.
• N=7까지는 모든 가능한 게임 상태에 대해 정확한 최적 확률 분포를 계산하고, N=13까지는 근사값을 계산한다.
• 기대 점수 획득을 최적화하는 전략이 승리 확률을 최대화하는 데에도 효과적인지 조사하며, 그러한 전략의 잠재적 약점을 규명한다.

제안 방법

• 카드 값과 각 입찰 쌍의 결과에서 유도된 수익 행렬을 활용해 게임을 행렬 게임으로 공식화한다.
• f(V,Y,P)는 플레이어 손패 V와 Y, 잔여 딜러 팩 P가 주어졌을 때의 게임 기대값을 나타내는 재귀적 동적 프로그래밍 공식을 적용한다.
• 재귀 규칙 f(V,Y,P) = (1/|P|) * Σ f_k(V,Y,P)를 사용하며, f_k(V,Y,P)는 상대카드 P_k의 가치와 잔여 게임의 기대값을 통합한다.
• 하향식 계산 전략을 구현하여 하위 게임 값들을 캐시하여 지수적 반복 계산을 방지하고 복잡도를 (N!)^3에서 처리 가능한 수준으로 감소시킨다.
• GLPK 라이브러리를 활용해 선형 프로그래밍을 통해 각 게임 상태에 대한 최적 혼합 전략과 확률 분포를 계산한다.
• 계산된 전략을 사용해 시뮬레이션을 수행함으로써 결과를 검증하며, 제어된 환경에서 더 높은 승률을 기록함을 확인한다.

실험 결과

연구 질문

• RQ1 N=13일 때 Pure Strategy 게임의 최적 혼합 전략은 무엇이며, 간단한 히وري스틱 전략과 비교해 어떻게 다를까?
• RQ2 입찰의 성질(홀수 대 짝수)이 최적 플레이에 크게 영향을 주는 이유는 무엇이며, 이는 심리적 입찰 행동과 어떻게 관련이 있을까?
• RQ3 기대 점수 획득을 최적화하는 전략이 게임 승리 확률을 최대화하는 데에도 효과적인가?
• RQ4 최적 입찰 행동에서 나타나는 패턴은 무엇인가? 예를 들어, 상대카드 값의 두 배 이상을 입찰하는 것(예: 상대카드가 9일 때 13을 입찰)이나 특정 입찰을 피하는 것(예: 상대카드가 N일 때 N−1 또는 N−2를 피함)은 어떤가?
• RQ5 라운드 수 R이 증가함에 따라 추가 입찰 칩의 가치가 어떻게 수렴하는가? 그 점근적 값은 얼마인가?

주요 결과

• N=13일 때, 상대카드가 홀수일 경우 최적 전략은 짝수 입찰보다 홀수 입찰을 지속적으로 선호하며, 전체적으로 동일 성질의 입찰이 유리하다.
• 9장 게임의 계산된 전략은 상대카드가 9일 때 9를 내는 확률이 74.75%이지만, 이는 약점이 된다: 항상 1을 내는 전략은 이에 비해 약 75%의 확률로 승리할 수 있으며, 이는 후반기 입찰 강도가 증가하기 때문이다.
• 특정 구성에서 상대카드 값의 두 배 이상을 입찰하는 것이 최적일 수 있다. 예를 들어 상대카드가 13이고 입찰이 13일 경우, 13을 내는 확률이 66.1%로 최적이다.
• 상대카드가 N(가장 높은 카드)일 때는 N−1 또는 N−2를 입찰하는 것을 피하는 것이 최적임을 입증하였으며, 전략 표에서 이에 해당하는 확률은 거의 0에 수렴한다.
• 기대 점수 획득을 최대화하는 최적 전략이 반드시 승리 확률을 최대화하는 것은 아니며, 이는 핵심적인 전략적 트레이드오프임을 드러낸다.
• 라운드 수 R이 증가함에 따라 추가 입찰 칩의 가치는 점차 약 1 + 1/(2N−2)로 수렴하지만, 정확한 극한 값 η는 아직 규명되지 않았다.