[논문 리뷰] Solving imperfect-information games via exponential counterfactual regret minimization

Huale Li, Xuan Wang외 5명|arXiv (Cornell University)|2020. 08. 06.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 8

한 줄 요약

이 논문은 불완전 정보 게임에서 수렴 속도를 높이기 위해 회귀 값에 지수 가중치를 적용하는 새로운 CFR 기반 방법인 지수 대체 회귀 최소화(Exponential Counterfactual Regret Minimization, ECFR)를 제안한다. 이는 더 큰 회귀를 가진 행동에 더 높은 우선순위를 부여함으로써 수렴 속도를 향상시킨다. ECFR는 Kuhn 포커, Leduc 포커, Royal 포커에서 최신 기술의 CFR 변형보다 더 빠른 수렴 속도와 낮은 유용성(exploitability)을 달성하며, 이론적 수렴 보장을 갖춘다.

ABSTRACT

In general, two-agent decision-making problems can be modeled as a two-player game, and a typical solution is to find a Nash equilibrium in such game. Counterfactual regret minimization (CFR) is a well-known method to find a Nash equilibrium strategy in a two-player zero-sum game with imperfect information. The CFR method adopts a regret matching algorithm iteratively to reduce regret values progressively, enabling the average strategy to approach a Nash equilibrium. Although CFR-based methods have achieved significant success in the field of imperfect information games, there is still scope for improvement in the efficiency of convergence. To address this challenge, we propose a novel CFR-based method named exponential counterfactual regret minimization (ECFR). With ECFR, an exponential weighting technique is used to reweight the instantaneous regret value during the process of iteration. A theoretical proof is provided to guarantees convergence of the ECFR algorithm. The result of an extensive set of experimental tests demostrate that the ECFR algorithm converges faster than the current state-of-the-art CFR-based methods.

연구 동기 및 목표

• 기본적인 대체 회귀 최소화(CFR)가 불완전 정보 게임에서 느린 수렴 속도를 보이는 문제를 해결하기 위해.
• 부분 정보가 있는 두 명의 플레이어가 참여하는 0-합 게임에서 나시 균형 전략을 찾는 효율성을 향상시키기 위해.
• 수렴 보장을 유지하면서도 수렴 속도를 높이는 CFR 변형을 개발하기 위해.
• 다양한 유형의 게임에서 수렴 속도와 유용성 측면에서 본 방법의 우수성을 경험적으로 검증하기 위해.

제안 방법

• ECFR는 반복 과정 중 순간적 회귀 값을 재가중하기 위해 지수 가중 기법을 도입하여, 더 큰 회귀를 가진 행동에 우선순위를 두는 방식이다.
• 이 방법은 평균 회귀 값을 기준으로 하여 고우수 행동을 걸러내고 우선순위를 매긴다.
• 기존 방법과 달리, ECFR는 0으로 설정하는 대신 음수의 회귀 값을 유지하고 가중치를 적용한다.
• 알고리즘은 지수 가중치를 제어하기 위해 파라미터 β를 적용하며, 최적 설정은 추론 실험을 통해 도출되었다.
• ECFR가 나시 균형으로 수렴함을 보여주는 이론적 증명이 제공되었으며, 이는 표준 CFR와 동일한 이론적 기반을 유지한다.
• 이 방법은 표준 CFR 프레임워크에 지수 회귀 가중치를 통합하여, 회귀 매칭 업데이트 규칙을 수정한다.

실험 결과

연구 질문

• RQ1 지수 가중 처리를 통해 회귀 값을 재가중함으로써 불완전 정보 게임에서 수렴 속도를 높일 수 있을까? 이 과정에서 수렴 보장은 유지되는가?
• RQ2 β 파라미터의 선택이 ECFR 알고리즘의 수렴 속도와 유용성에 어떤 영향을 미치는가?
• RQ3 다양한 불완전 정보 게임에서 ECFR는 최신 기술의 CFR 기반 방법보다 수렴 속도와 전략 품질 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 기존 방법과 달리 음수의 회귀 값을 전략 업데이트 과정에 포함시키는 것이 어떤 영향을 미치는가?

주요 결과

• ECFR는 동일한 반복 수에서 Kuhn 포커, Leduc 포커, Royal 포커에서 최신 기술의 CFR 기반 방법보다 더 빠른 수렴 속도를 보였다.
• β의 최적 설정은 −r²로 확인되었으며, 이는 Kuhn 포커와 Leduc 포커 양측에서 다른 설정보다 뛰어난 성능을 보였다.
• β 적용이 성능 향상에 기여했으며, Kuhn 포커에서는 100회 반복 후, Leduc 포커에서는 750회 반복 후 ECFR에 β가 적용된 경우가 β가 없는 경우보다 성능이 뛰어났다.
• 추론 실험에서 β = −0.0001과 β = −r²가 뛰어난 성능을 보였으며, 특히 Kuhn 및 Leduc 게임에서 β = −r²가 최고의 결과를 냈다.
• ECFR는 모든 시험 게임에서 가장 낮은 유용성을 기록하여, 뛰어난 전략 품질과 더 빠른 수렴 속도를 입증했다.
• 이론적 분석을 통해 ECFR가 나시 균형으로 수렴함을 확인하였으며, 이는 강건성과 신뢰성을 보장한다.