[논문 리뷰] Deep Counterfactual Regret Minimization

Noam Brown, Adam Lerer외 2명|arXiv (Cornell University)|2018. 11. 01.

Artificial Intelligence in Games참고 문헌 43인용 수 21

한 줄 요약

이 논문은 수동 추상화에 의존하지 않고 큰 비완전 정보 게임에서의 회귀와 전략을 근사하기 위해 딥 뉴럴 네트워크를 사용하는 비표본형 Counterfactual Regret Minimization(Deep CFR)을 소개한다. 이는 헤드업 리미트 텍사스 홀드아임 포커에서 신경망 가상 자기대결(Neural Fictitious Self-Play)를 능가하고 도메인 특화 추상화 기법과 유사한 성능을 기록하며, 큰 게임에서 성공한 첫 번째 비표본형 CFR 변종이다.

ABSTRACT

Counterfactual Regret Minimization (CFR) is the leading framework for solving large imperfect-information games. It converges to an equilibrium by iteratively traversing the game tree. In order to deal with extremely large games, abstraction is typically applied before running CFR. The abstracted game is solved with tabular CFR, and its solution is mapped back to the full game. This process can be problematic because aspects of abstraction are often manual and domain specific, abstraction algorithms may miss important strategic nuances of the game, and there is a chicken-and-egg problem because determining a good abstraction requires knowledge of the equilibrium of the game. This paper introduces Deep Counterfactual Regret Minimization, a form of CFR that obviates the need for abstraction by instead using deep neural networks to approximate the behavior of CFR in the full game. We show that Deep CFR is principled and achieves strong performance in large poker games. This is the first non-tabular variant of CFR to be successful in large games.

연구 동기 및 목표

• 수동으로 도메인 특화된 설계가 필요하고 전략적 뉘앙스를 놓칠 수 있는 Counterfactual Regret Minimization(CFR)의 추상화 한계를 해결하기 위해.
• 표본형 CFR의 변형으로서 전체 게임 트리에서의 회귀와 전략을 딥 뉴럴 네트워크를 사용해 근사함으로써 추상화가 필요 없도록 하는 것을 목적으로 한다.
• 딥 러닝을 통한 함수 근사가 큰 스케일의 비완전 정보 게임에서 근사 네쉬 균형에 빠르게 수렴할 수 있음을 입증하기 위해.
• 기존의 방법들인 신경망 가상 자기대결(NFSP)과 도메인 특화 추상화 기법을 기준으로 한 펠리어 게임에서 Deep CFR의 성능을 평가하기 위해.
• 두 명의 플레이어가 참여하는 0-합 게임에서 Deep CFR의 이론적 수렴 보장을 수립하기 위해.

제안 방법

• Deep CFR는 표본형 회귀와 전략 표현을 대체하기 위해 전체 게임 트리 전역에서의 대조적 회귀와 행동 확률을 근사하는 딥 뉴럴 네트워크를 사용한다.
• CFR 반복 과정에서 알고리즘은 게임 트레이젝터리를 샘플링하고, 신경망을 사용해 대조적 회귀를 계산하며, 신경망 출력값을 기반으로 회귀 매칭을 통해 정책을 업데이트한다.
• 신경망은 샘플링된 게임 상태와 회귀 값의 리PLAY 버퍼를 사용해 확률적 경사 하강법으로 훈련되며, 경험 리PLAY와 유량 샘플링을 통해 학습 안정성을 높인다.
• 다양한 정보 집합의 영향을 균형 있게 조절하기 위해 선형 가중치 기법을 적용하고, 분포 이탈을 방지하기 위해 각 반복마다 네트워크를 다시 학습시킨다.
• 이 방법은 이중 네트워크 아키텍처를 사용한다: 하나는 행동 회귀를 추정하고, 다른 하나는 정책을 추정하며, 양쪽 모두 종단 간(end-to-end)으로 훈련된다.
• 핵심 혁신은 버퍼 오버플로우 이후에도 훈련 데이터의 다양성을 유지할 수 있도록 슬라이딩 윈도우 메모리 버퍼와 유량 샘플링을 사용하는 것이다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 추상화 없이 큰 비완전 정보 게임에서 표본형 CFR의 회귀와 전략 계산을 효과적으로 근사할 수 있는가?
• RQ2 Deep CFR는 두 명의 플레이어가 참여하는 0-합 게임에서 근사 네쉬 균형으로 수렴하는가? 이는 이론적으로도 정당화될 수 있는가?
• RQ3 Deep CFR의 성능은 큰 포커 게임에서 신경망 가상 자기대결(NFSP)과 도메인 특화 추상화 기법에 비해 어떻게 비교되는가?
• RQ4 네트워크 재학습, 선형 가중치, 샘플링 전략과 같은 아키텍처 선택 사항이 수렴성과 공격 가능성에 어떤 영향을 미치는가?
• RQ5 메모리 버퍼가 가득 찬 경우 Deep CFR는 안정적인 수렴을 유지할 수 있는가? 그리고 다양한 메모리 관리 전략은 성능에 어떤 영향을 미치는가?

주요 결과

• 헤드업 리미트 텍사스 홀드아임에서 3.3×10⁸개의 버킷 추상화와 대비해 약 11 mbb/g의 공격 가능성 수준을 기록하며, NFSP(55 mbb/g 손실)를 크게 능가한다.
• 헤드투헤드 대결에서 Deep CFR는 NFSP를 43 mbb/g로 이기며, NFSP가 이전까지 최고의 함수 근사 방법이었던 점을 감안할 때 정책 품질이 뛰어나다는 것을 입증한다.
• 손실 없는 추상화보다 2~3개의 지수 차수만큼 적은 게임 트래버설을 통해 수렴함을 보이며, 매우 높은 샘플 효율성을 보인다.
• 간단한 슬라이딩 윈도우를 사용할 경우 버퍼가 가득 찬 후 공격 가능성은 증가하지만, 유량 샘플링을 사용할 경우 수렴성이 유지됨을 확인하여 메모리 관리의 중요성을 입증한다.
• Ablation 연구 결과, 각 반복마다 네트워크를 다시 학습시키는 것이 미세조정보다 최종 공격 가능성을 50% 감소시키며, 최고 회귀 행동 선택 대신 표준 회귀 매칭을 사용할 경우 공격 가능성은 50% 증가한다.
• Deep CFR는 더 적은 정보 집합을 도착하면서도 NFSP보다 낮은 공격 가능성을 기록하여 더 높은 샘플 효율성과 전략 정확도를 보인다.