[논문 리뷰] Computing Approximate Nash Equilibria and Robust Best-Responses Using Sampling

Marc Ponsen, Steven de Jong외 1명|Research Publications (Maastricht University)|2014. 01. 18.

Sports Analytics and Performance참고 문헌 32인용 수 40

한 줄 요약

이 논문은 부분적으로 관찰 가능한 스토케스틱 게임에서 강건한 최적 반응 전략을 계산하기 위한 샘플링 기반 알고리즘인 몬테카를로 제한된 내쉬 반응(MCRNR)을 제안한다. MCRNR는 몬테카를로 대체적 위험 최소화(MCCFR)와 제한된 내쉬 반응(RNR)을 결합하여, 내쉬 균형 전략보다 비내쉬 상대방을 더 효과적으로 이용하면서도 이용당할 위험에 강건한 전략을 효율적으로 학습한다. 포커 실험에서 더 빠른 수렴 속도와 뛰어난 성능을 입증한다.

ABSTRACT

This article discusses two contributions to decision-making in complex partially observable stochastic games. First, we apply two state-of-the-art search techniques that use Monte-Carlo sampling to the task of approximating a Nash-Equilibrium (NE) in such games, namely Monte-Carlo Tree Search (MCTS) and Monte-Carlo Counterfactual Regret Minimization (MCCFR). MCTS has been proven to approximate a NE in perfect-information games. We show that the algorithm quickly finds a reasonably strong strategy (but not a NE) in a complex imperfect information game, i.e. Poker. MCCFR on the other hand has theoretical NE convergence guarantees in such a game. We apply MCCFR for the first time in Poker. Based on our experiments, we may conclude that MCTS is a valid approach if one wants to learn reasonably strong strategies fast, whereas MCCFR is the better choice if the quality of the strategy is most important. Our second contribution relates to the observation that a NE is not a best response against players that are not playing a NE. We present Monte-Carlo Restricted Nash Response (MCRNR), a sample-based algorithm for the computation of restricted Nash strategies. These are robust best-response strategies that (1) exploit non-NE opponents more than playing a NE and (2) are not (overly) exploitable by other strategies. We combine the advantages of two state-of-the-art algorithms, i.e. MCCFR and Restricted Nash Response (RNR). MCRNR samples only relevant parts of the game tree. We show that MCRNR learns quicker than standard RNR in smaller games. Also we show in Poker that MCRNR learns robust best-response strategies fast, and that these strategies exploit opponents more than playing a NE does.

연구 동기 및 목표

• 복잡한 부분적으로 관찰 가능한 스토케스틱 게임에서 비내쉬 상대방에 대응하는 빠르고 강건한 최적 반응 전략을 계산하는 방법을 개발하는 것.
• 기존 내쉬 균형 전략이 열등한 상대방을 효과적으로 이용하지 못하는 점을 개선하는 것.
• 샘플링 기법을 사용하여 MCCFR의 이론적 수렴 성질과 RNR의 강건성을 결합하는 것.
• 게임 트리의 관련 부분만 샘플링하여 계산 비용을 줄여 확장성 향상시키는 것.
• 특히 노리밋 텍사스 홀드아임 포커에서 실제 환경에서의 성능 평가를 수행하는 것.

제안 방법

• MCRNR는 제한된 게임 트리에서 관련 결정 포인트에 집중하여 샘플링을 통해 대체적 가치를 추정한다.
• 이론적 수렴 보장을 갖는 MCCFR의 위험 최소화 프레임워크를 통합하여 전략 품질을 반복적으로 향상시킨다.
• 반응 전략을 상대방 행동의 부분집합으로 제한함으로써 내쉬 플레이에서의 이탈에 강건성을 확보한다.
• 관련 게임 상태만 샘플링함으로써 전체 트리 RNR 방법 대비 계산 오버헤드를 감소시킨다.
• MCCFR의 수렴 성질과 RNR의 이용 가능성 제어에 초점을 맞춘 조합을 통해 강력함과 강건성을 균형 잡는다.
• 이 방법은 노리밋 텍사스 홀드아임 포커에 적용되어 표준 RNR보다 빠른 속도로 전략을 학습한다.

실험 결과

연구 질문

• RQ1 MCCFR와 MCTS와 같은 샘플링 기반 방법들이 불완전 정보 스토케스틱 게임에서 내쉬 균형을 근사하는 데 효과적으로 적용될 수 있는가?
• RQ2 작은 게임에서 MCRNR는 표준 RNR와 비교해 수렴 속도와 이용 가능성 면에서 어떻게 다른가?
• RQ3 MCRNR는 내쉬 균형 전략보다 비내쉬 상대방을 얼마나 더 효과적으로 이용할 수 있는가?
• RQ4 MCCFR와 RNR를 샘플링을 통해 조합함으로써 실질적으로 강력하고 강건한 전략을 도출할 수 있는가?
• RQ5 노리밋 텍사스 홀드아임과 같은 대규모 게임에서 MCRNR는 기준 전략 대비 어떻게 성능을 발휘하는가?

주요 결과

• 작은 게임에서 MCRNR는 표준 제한된 내쉬 반응(RNR)보다 빠르게 강건한 최적 반응 전략을 학습하며, 더 높은 샘플 효율성을 보였다.
• 노리밋 텍사스 홀드아임 포커에서 MCRNR는 RNR보다 훨씬 더 빠르게 강력하고 타겟된 전략으로 수렴하면서도 낮은 이용 가능성 수준을 유지했다.
• MCRNR 전략은 내쉬 균형 전략보다 비내쉬 상대방을 더 효과적으로 이용하여 실질적으로 더 높은 기대 유용도를 달성했다.
• MCTS는 강력한 전략을 신속하게 학습하는 데 효과적이지만 내쉬 균형으로 수렴하지 않아 이론적 보장에는 적합하지 않다.
• MCCFR는 불완전 정보 게임에서 내쉬 균형으로 수렴하는 이론적 성질을 지니며, 이 논문에서 포커에의 적용이 검증되었다.
• MCCFR의 수렴 성질과 RNR의 강건성은 샘플링을 통해 조합되어 실질적이고 확장 가능한 실생활 게임이론적 의사결정 방법을 제공한다.