[논문 리뷰] Monte Carlo Continual Resolving for Online Strategy Computation in Imperfect Information Games

Michal Šustr, Vojtěch Kovařík외 1명|arXiv (Cornell University)|2018. 12. 18.

Artificial Intelligence in Games참고 문헌 29인용 수 5

한 줄 요약

이 논문은 몽테카를로 연속 해결(Monte Carlo Continual Resolving, MCCR)을 소개한다. MCCR는 불완전 정보를 가진 두 명의 플레이어가 참여하는 광범위한 형태 게임(Extensive-Form Games, EFG)에 대해 도메인 독립적인 온라인 전략 계산 방법이다. 이는 포커를 넘어서 연속 해결(Continual Resolving)을 일반화하기 위해 몽테카를로 반대적 회귀 최소화(Monte Carlo Counterfactual Regret Minimization, MCCFR)를 해결기로 사용하며, $O(T^{-1/2})$의 노출도 감소 속도를 달성하고, OOS와 IS-MCTS와의 헤드투헤드 테스트에서 일부 도메인에서 승리하면서도 OOS의 메모리 증가 문제를 피하고 이론적 보장이 없는 점을 보완한다.

ABSTRACT

Online game playing algorithms produce high-quality strategies with a fraction of memory and computation required by their offline alternatives. Continual Resolving (CR) is a recent theoretically sound approach to online game playing that has been used to outperform human professionals in poker. However, parts of the algorithm were specific to poker, which enjoys many properties not shared by other imperfect information games. We present a domain-independent formulation of CR applicable to any two-player zero-sum extensive-form games that works with an abstract resolving algorithm. We further describe and implement its Monte Carlo variant (MCCR) which uses Monte Carlo Counterfactual Regret Minimization (MCCFR) as a resolver. We prove the correctness of CR and show an $O(T^{-1/2})$-dependence of MCCR's exploitability on the computation time. Furthermore, we present an empirical comparison of MCCR with incremental tree building to Online Outcome Sampling and Information-set MCTS on several domains.

연구 동기 및 목표

• 포커를 초월하여 불완전 정보를 가진 두 명의 플레이어가 참여하는 모든 두 명의 플레이어가 참여하는 제로섬 광범위한 형태 게임(EFG)으로 연속 해결(Continual Resolving)을 일반화하는 것.
• 오프라인 해법이 지닌 메모리 및 계산 부담을 피할 수 있는 도메인 독립적인 온라인 전략 계산 프레임워크를 개발하는 것.
• 기존의 온라인 알고리즘인 OOS의 한계를 해결하는 것. OOS는 게임 시작 지점에서 샘플링으로 인해 증가하는 메모리 사용과 높은 분산 문제를 야기한다.
• 이론적으로 타당하고 확장 가능한 온라인 알고리즘을 개발하여, 다양한 해법(예: MCCFR 포함)으로 구현할 수 있도록 하는 것.
• 다양한 불완전 정보 게임 도메인에서 MCCR의 성능을 OOS, IS-MCTS, MCCFR와의 비교를 통해 실증적으로 평가하는 것.

제안 방법

• 모든 두 명의 플레이어가 참여하는 제로섬 광범위한 형태 게임(EFG)에 적용 가능한 일반화된 연속 해결(CR) 프레임워크를 제안하며, 복잡한 공개 상태 구조와 상태당 다수의 행동을 포함한 경우에도 적용 가능하다.
• 광범위한 형태 게임(EFG)에 적용 가능한 몽테카를로 연속 해결(MCCR)을 제안하며, 이는 내부 해결기로 몽테카를로 반대적 회귀 최소화(MCCFR)를 사용한다.
• 해결 기능 장치를 정의하여 관련 정보 집합에 대한 반대적 가치 추정치를 동적으로 유지하고 업데이트함으로써 점진적인 전략 계산을 가능하게 한다.
• 해결기로는 광범위한 형태 게임(EFG) 해법이라면 어떤 것이라도 교체 가능하며, 전통적인 CFR, 신경망 기반 깊이 제한된 탐색, 도메인 특화 히우리스틱도 포함된다.
• 중요도 샘플링과 반대적 가치 추정을 사용하여 노출도에 대한 이론적 보장을 유지하면서도 온라인 계산을 가능하게 한다.
• 두 가지 변형을 구현한다: MCCR (리셋)과 MCCR (유지)로, 이는 과거의 반대적 가치 추정치가 게임 상태 간에 유지되지 않는지 여부에 따라 다름.

실험 결과

연구 질문

• RQ1 연속 해결(Continual Resolving)은 포커를 초월하여 불완전 정보를 가진 임의의 두 명의 플레이어가 참여하는 제로섬 광범위한 형태 게임(EFG)으로 일반화될 수 있는가?
• RQ2 MCCR는 이론적으로 타당성을 유지하고 온라인 전략 계산에서 비선형 노출도 감소를 달성하는가?
• RQ3 다양한 게임 도메인에서 MCCR의 성능은 OOS 및 IS-MCTS와 비교해 볼 때 노출도와 헤드투헤드 승률 측면에서 어떻게 다른가?
• RQ4 MCCR의 성능은 반대적 가치 추정치의 질에 얼마나 민감한가?
• RQ5 OOS나 IS-MCTS와 같은 기존의 온라인 알고리즘보다 MCCR가 뚜렷이 승리하는 게임 유형은 존재하는가?

주요 결과

• MCCR는 계산 시간에 대한 노출도에 대해 $O(T^{-1/2})$ 의존성을 확보하여 이론적 타당성을 확인하였다.
• PTTT 도메인에서 MCCR (유지)는 MCCFR에 대해 17.7%의 승률을 기록했으며, OOS-PST(−5.6%)와 OOS-IST(−3.5%)를 모두 앞섰다.
• GP-4644 도메인에서 MCCR (유지)는 OOS-PST에 대해 14.2% 승리했고, OOS-IST에 대해서도 14.2% 승리했으며, OOS-PST와 OOS-IST는 각각 MCCR (유지)에 대해 8.1%와 8.9%의 패배를 기록했다.
• 반대적 가치 추정치가 열악할 경우, MCCR의 노출도 수렴 속도는 OOS보다 느렸고, 헤드투헤드 성능도 OOS와 IS-MCTS보다 열 劣했다.
• GP-4644 도메인에서 MCCR (유지)는 MCCFR(−8.7%)에 비해 14.2%의 승률을 기록했고, PTTT 도메인에서는 17.7% 대비 0.1%로 더 높은 성능을 보여, 더 나은 추정치를 통해 전략 품질이 향상됨을 시사했다.
• MCCR는 사전 계산된 평가 함수가 필요로 하지 않으며, OOS의 메모리 증가 문제를 피함으로써 장기간 실행되는 게임에서 OOS보다 더 확장 가능한 성능을 보였다.