[논문 리뷰] Deep Reinforcement Learning from Self-Play in Imperfect-Information Games

Johannes Heinrich, David Silver|arXiv (Cornell University)|2016. 03. 03.

Artificial Intelligence in Games참고 문헌 34인용 수 145

한 줄 요약

NFSP는 도메인 지식 없이 가상의 자기 플레이를 깊은 강화학습과 결합하여 근사 Nash 균형을 학습하고 Leduc와 Limit Hold’em 포커에서 좋은 성능을 보입니다.

ABSTRACT

Many real-world applications can be described as large-scale games of imperfect information. To deal with these challenging domains, prior work has focused on computing Nash equilibria in a handcrafted abstraction of the domain. In this paper we introduce the first scalable end-to-end approach to learning approximate Nash equilibria without prior domain knowledge. Our method combines fictitious self-play with deep reinforcement learning. When applied to Leduc poker, Neural Fictitious Self-Play (NFSP) approached a Nash equilibrium, whereas common reinforcement learning methods diverged. In Limit Texas Holdem, a poker game of real-world scale, NFSP learnt a strategy that approached the performance of state-of-the-art, superhuman algorithms based on significant domain expertise.

연구 동기 및 목표

• 도메인 지식 없이 불완전 정보 게임에서 Nash 균형의 scalable 학습 동기 부여.
• 가상의 자기 플레이와 신경망을 결합한 엔드-투-엔드 NFSP 방법 개발.
• 핸드크래프드 추상화나 사전 도메인 지식에 대한 의존성 제거.
• 실전 규모 Hold’em을 포함한 2인 포커에서 근사 Nash 전략으로의 수렴 시연.

제안 방법

• 에이전트는 두 개의 신경망으로 구성: 근사 최적 반응에 대한 Q-네트워크와 과거 평균 행동을 모방하는 감독-평균 정책 네트워크.
• 두 메모리: M_RL은 강화 학습 데이터, M_SL은 감독 학습 데이터, 저장은 저수지 샘플링으로.
• 에이전트는 its approximate best response (epsilon-greedy on Q)와 its average strategy (Pi)의 혼합에서 행동을 선택.
• Training uses off-policy Q-learning with a target network and supervised learning to fit the average policy.
• 예측적 역학은 학습을 안정화하고 상대의 행동을 추적하는 데 사용되어 동시 자가 플레이를 가능하게 한다.
• 이 방법은 원시 정보 상태 또는 최소한으로 인코딩된 정보 상태에서 작동함으로써 도메인 특화 특징 엔지니어링을 피한다.

실험 결과

연구 질문

• RQ1 NFSP가 도메인 지식 없이 불완전 정보의 2인 제로섬 게임에서 근사 Nash 균형으로 수렴할 수 있는가?
• RQ2 NFSP는 다중 에이전트 불완전 정보 설정에서 표준 딥 RL(DQN 등)과 어떻게 비교되는가?
• RQ3 수작업으로 추상화를 만들지 않고도 현실 규모의 불완전 정보 게임(예: Limit Texas Hold’em)에서 NFSP가 확장 가능한가?
• RQ4 저수지 샘플링 및 예측적 역학과 같은 구성 요소가 NFSP의 안정성과 성능에 어떤 역할을 하는가?

주요 결과

• NFSP는 Leduc Hold’em에서 Nash 균형에 접근하는 반면 표준 RL 방법은 수렴하지 않는다.
• Limit Texas Hold’em에서 NFSP는 최첨단의 인간 초월 알고리즘에 근접하는 경쟁 전략을 학습한다. 이 알고리즘은 핸드크래프트 추상화 사용.
• DQN with an averaged strategy does not converge to Nash and remains highly exploitable in imperfect-information poker.
• Removing essential NFSP components (reservoir sampling, anticipatory dynamics) degrades performance or causes instability.
• NFSP의 성능은 다양한 네트워크 아키텍처에도 견고하며 포커 설정에서 안정적이고 단조로운 개선을 보인다.