[논문 리뷰] Solving Large Imperfect Information Games Using CFR+

Oskari Tammelin|arXiv (Cornell University)|2014. 07. 18.

Artificial Intelligence in Games참고 문헌 3인용 수 31

한 줄 요약

이 논문은 포커와 같은 큰 규모의 비완전 정보 게임을 해결할 때 수렴 속도를 크게 향상시키는 새로운 알고리즘인 CFR+를 소개한다. 표준의 회귀 매칭 대신 새로운 회귀 매칭+ 전략 업데이트 방식을 도입함으로써, CFR+는 표준 CFR 대비 수렴 속도를 10배 이상 빠르게 하고, 메모리 사용량도 줄이며, 회귀 데이터의 압축성을 향상시킨다.

ABSTRACT

Counterfactual Regret Minimization and variants (e.g. Public Chance Sampling CFR and Pure CFR) have been known as the best approaches for creating approximate Nash equilibrium solutions for imperfect information games such as poker. This paper introduces CFR$^+$, a new algorithm that typically outperforms the previously known algorithms by an order of magnitude or more in terms of computation time while also potentially requiring less memory.

연구 동기 및 목표

• 포커와 같은 숨겨진 정보가 있는 게임에서 특히 효율적인 알고리즘 개발
• 기존의 대조적 회귀 최소화(CFR) 변종들이 많은 반복을 거쳐야 수렴하는 계산 비효율성 해결
• 음수의 회귀 누적을 제거함으로써 메모리 사용량을 줄이고 데이터 압축성을 향상시키기
• 전략 평균화가 필요 없이도 빠르게 약한 내쉬 균형에 수렴하도록 하여 구현을 단순화하고 성능을 향상시키기

제안 방법

• CFR+는 벡터 형식의 교차 업데이트 메커니즘을 사용하며, 각 반복에서 한 명의 플레이어씩 번갈아가며 업데이트한다.
• 표준 회귀 매칭 대신 새로운 변종인 회귀 매칭+를 사용하며, 누적 대조적 회귀를 최대 양수 업데이트 규칙을 통해 계산한다: $ R^{+,T}_{i}(I,a) = \max\{ R^{+,T-1}_{i}(I,a) + v_{i}(\sigma^{T}_{I\rightarrow a},I) - v_{i}(\sigma^{T},I), 0 \} $.
• 분모가 양수이면 전략은 $ \sigma^{T+1} = \frac{R^{+,T}_{i}(I,a)}{\sum_{a'\in A(I)} R^{+,T}_{i}(I,a')} $ 로 업데이트되며, 그렇지 않으면 균일하게 설정된다.
• CFR와 달리, CFR+는 반복 횟수에 걸친 평균화가 필요로 하지 않으며, 현재 전략이 직접 약한 내쉬 균형으로 수렴한다.
• 더 빠른 수렴을 위해 지연 시간 $ d $를 가진 가중 평균화 기법을 사용하며, 이때 가중치는 $ w^T = \max\{T - d, 0\} $ 로 설정된다.
• 많은 회귀 값이 0으로 유지되는 사실을 활용하여, 산술 부호화와 문맥 모델링과 같은 기법을 통해 높은 수준의 데이터 압축을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 CFR에 비해 수정된 회귀 매칭 알고리즘이 큰 비완전 정보 게임의 수렴 속도를 향상시킬 수 있는가?
• RQ2 CFR에서 전략 평균화가 필요 없어지는 것이 수렴 속도 향상과 메모리 사용량 감소에 기여하는가?
• RQ3 새로운 회귀 매칭+ 메커니즘이 음수의 회귀 누적을 얼마나 줄이고, 데이터 압축성을 얼마나 향상시키는가?
• RQ4 CFR+는 실제 게임 사례, 예를 들어 노 리밋 텍사스 홀드아임의 플롭 서브게임에서 표준 CFR에 비해 어떻게 성능을 발휘하는가?
• RQ5 새로운 알고리즘이 계산 시간을 크게 줄이면서도, 노출 가능성 감소를 유지하거나 향상시킬 수 있는가?

주요 결과

• CFR+는 다양한 덱 크기에서 한 장의 카드로 구성된 포커 게임에서 표준 CFR 대비 10배 이상 수렴 속도가 향상된다.
• 노 리밋 텍사스 홀드아임 플롭 서브게임에서, CFR+는 5밀리벳의 노출 가능성을 달성하기 위해 필요한 반복 횟수를 표준 CFR 대비 10배 이상 줄였다.
• CFR+에서 현재 전략은 경험적으로 직접 약한 내쉬 균형으로 수렴하므로, 전략 평균화가 필요로 하지 않는다.
• CFR+는 음수의 회귀 누적을 방지함으로써 메모리 사용량을 크게 줄였다.
• 알고리즘의 회귀 데이터 구조는 높은 압축성을 제공하며, 고급 인코딩 기법을 사용할 경우 압축률이 90%를 초과할 수 있다.
• 지연 시간 $ d $를 가진 가중 평균화 기법은 특히 학습 후반 단계에서 수렴 속도를 더욱 향상시킨다.