[논문 리뷰] Double Neural Counterfactual Regret Minimization

Hui Li, Kailiang Hu외 4명|arXiv (Cornell University)|2018. 12. 27.

Artificial Intelligence in Games참고 문헌 13인용 수 15

한 줄 요약

이 논문은 대규모 불완전 정보 게임에서 종단 간 학습을 가능하게 하며, 누적 위험도를 추적하는 하나의 신경망과 평균 전략을 표현하는 다른 하나의 신경망을 사용하는 딥러닝 기반 접근법인 더블 뉴럴 반사적 위험 최소화(DNCFR)를 제안한다. 이 방법은 표기 기반 CFR와 유사한 수렴 성능를 보이며, 열악한 초기 전략에서의 지속적인 개선과 최소한의 데이터로도 잘 일반화된다.

ABSTRACT

Counterfactual Regret Minimization (CRF) is a fundamental and effective technique for solving Imperfect Information Games (IIG). However, the original CRF algorithm only works for discrete state and action spaces, and the resulting strategy is maintained as a tabular representation. Such tabular representation limits the method from being directly applied to large games and continuing to improve from a poor strategy profile. In this paper, we propose a double neural representation for the imperfect information games, where one neural network represents the cumulative regret, and the other represents the average strategy. Furthermore, we adopt the counterfactual regret minimization algorithm to optimize this double neural representation. To make neural learning efficient, we also developed several novel techniques including a robust sampling method, mini-batch Monte Carlo Counterfactual Regret Minimization (MCCFR) and Monte Carlo Counterfactual Regret Minimization Plus (MCCFR+) which may be of independent interests. Experimentally, we demonstrate that the proposed double neural algorithm converges significantly better than the reinforcement learning counterpart.

연구 동기 및 목표

• 대규모 불완전 정보 게임(IIG)에서 표기 기반 반사적 위험 최소화(CFR)의 메모리 및 확장성 제약을 해결한다.
• 이전의 딥 강화 학습 방법에서 수작업 특징 또는 게임 추상화에 의존하는 문제를 해결하기 위해 종단 간 최적화를 가능하게 한다.
• 표기 표현 없이도 누적 위험도와 평균 전략을 동시에 추적할 수 있는 신경망 프레임워크를 개발하여 나시 균형에 수렴하도록 한다.
• 기존 체크포인트에서의 전략을 기반으로 지속적인 전략 개선을 가능하게 하여 열악한 정책에서의 반복적 개선을 지원한다.
• 순수 신경망 기반 방법이 Leduc Hold’em과 같은 대규모 게임에서 표기 기반 CFR의 성능을 재현할 수 있음을 입증하여 분야 내 열린 질문을 해결한다.

제안 방법

• 이중 신경망 아키텍처를 도입: 하나의 딥 뉴럴 네트워크는 누적 위험도를 학습하고, 다른 하나는 평균 전략을 학습하며, 양자 모두 반사적 위험 최소화 방식으로 업데이트된다.
• 표본 추출의 분산을 줄이는 데 효과적인 신규한 강건한 샘플링 방법을 사용하며, 외부 샘플링보다 메모리 사용량이 적다.
• 미니배치 몬테카를로 반사적 위험 최소화(MCCFR) 및 MCCFR+를 구현하여 학습 효율성과 안정성을 향상시킨다.
• 손실 함수를 미분 가능하게 구성하여 위험도를 최소화하고 반복적 전략 평균화를 통해 나시 균형을 근사하는 방식으로 두 네트워크를 종단 간 엔드포인트로 학습시킨다.
• 온난 시작 메커니즘을 도입하여 기존 CFR 실행에서 유도된 표기 기반 위험도 및 전략 값으로 신경망을 초기화함으로써 지속적인 개선을 가능하게 한다.
• 작은 배치 크기에서도 잘 작동하도록 어텐션 강화 RNN(예: 어텐션을 갖춘 LSTM)을 사용하여 미지의 정보 집합으로의 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 순수 신경망 기반 종단 간 접근법이 대규모 불완전 정보 게임에서 표기 기반 CFR의 성능을 재현할 수 있는가?
• RQ2 누적 위험도와 평균 전략을 이중 신경망으로 표현함으로써 표기 방법과 유사한 수준의 나시 균형 수렴이 가능한가?
• RQ3 반복 과정에서 방문된 노드의 일부분(작은 비율)만을 기반으로도 이론적으로 미지의 정보 집합으로의 일반화가 가능한가?
• RQ4 기존 전략 체크포인트에서의 지속적 개선은 얼마나 효과적인가?
• RQ5 어텐션 기반 아키텍처는 신경망 기반 CFR의 일반화 및 수렴 속도 향상에 기여하는가?

주요 결과

• Leduc Hold’em에서 1000회 반복 후 이중 신경망 방법은 0.02의 공격성도를 달성하여 표기 기반 CFR와 동일한 성능을 보이며, NFSP 및 XFP보다 뚜렷이 뛰어나다.
• 반복 과정에서 정보 집합의 3.08%만 관측된 상태(b=50)에서도 1000회 반복 내에 공격성도가 0.1 이하로 수렴하여 강력한 일반화 능력을 입증한다.
• 매개변수를 최소화한 상태에서도 효과적인 일반화가 가능하며, 임베딩 크기가 8과 16일 때(각각 1048 및 2608개 매개변수) 표기 메모리보다도 우수한 성능을 보이며 수렴성을 유지한다.
• 2×10^7개 이상의 상태와 3.7×10^6개의 정보 집합을 가진 대규모 게임에서, 반복 과정당 노드의 0.53%만을 사용해도 수렴이 가능함을 보이며 확장성과 우수한 성능를 입증한다(b=500).
• RNN 아키텍처에 어텐션을 통합한 경우(LSTM+attention)는 완전 연결 네트워크, RNN, GRU보다 더 빠른 수렴 속도와 향상된 전략 품질을 제공한다.
• 표기 기반 CFR 또는 RS-MCCFR+에서 시작하여 이중 신경망 방법으로 이어지는 온난 시작 전략을 통해 지속적인 개선이 가능하며, 첫 10회는 표기 기반 방법으로, 나머지는 신경망 학습을 통해 수행된다.