[논문 리뷰] Unlocking the Potential of Deep Counterfactual Value Networks

Ryan Zarick, Bryan Pellegrino외 2명|arXiv (Cornell University)|2020. 07. 20.

Artificial Intelligence in Games참고 문헌 42인용 수 9

한 줄 요약

이 논문은 개선된 반사적 회귀 최소화(DCFR+)를 통해 DeepStack을 크게 향상시킨 딥 반사적 가치 네트워크(DCFVnet) 포커 AI인 Supremus를 소개한다. 더 큰 학습 데이터, 더 세밀한 행동 이산화, GPU 최적화된 구현을 통해 성능을 향상시켰다. Supremus는 강력한 벤치마크 에이전트인 Slumbot을 게임당 176 ± 44 소블라인으로 압도하며, DeepStack보다 열등한 탐욕성도 낮추고, 적절히 최적화된 DCFV넷이 비완전 정보 게임에서 최고 성능을 달성할 수 있음을 입증한다.

ABSTRACT

Deep counterfactual value networks combined with continual resolving provide a way to conduct depth-limited search in imperfect-information games. However, since their introduction in the DeepStack poker AI, deep counterfactual value networks have not seen widespread adoption. In this paper we introduce several improvements to deep counterfactual value networks, as well as counterfactual regret minimization, and analyze the effects of each change. We combined these improvements to create the poker AI Supremus. We show that while a reimplementation of DeepStack loses head-to-head against the strong benchmark agent Slumbot, Supremus successfully beats Slumbot by an extremely large margin and also achieves a lower exploitability than DeepStack against a local best response. Together, these results show that with our key improvements, deep counterfactual value networks can achieve state-of-the-art performance.

연구 동기 및 목표

• 비완전 정보 게임에서 이론적으로 유망한데도 불구하고 깊이 있는 반사적 가치 네트워크(DCFVnet)의 보편적 채택이 제한된 이유를 다루기 위해.
• 특히 강력한 벤치마크 에이전트인 Slumbot에게 지는 등 원래 DeepStack의 성능 격차를 특정하고 해결하기 위해.
• 균형점 찾기의 수렴 속도, 신경망 정확도, 행동 추상화의 해상도, 학습 데이터 규모 등 DCFVnet 기반 에이전트의 핵심 구성 요소를 향상시키기 위해.
• 이러한 개선을 통해 DCFV넷이 한정된 텍사스 홀드'em 포커에서 최고 성능을 달성할 수 있음을 입증하기 위해.
• 대규모 비완전 정보 게임에서 더 빠르고 정확한 검색을 가능하게 하는 고성능 GPU 네이티브 DCFVnet 파이프라인을 구축하기 위해.

제안 방법

• 균형점 찾기 및 신경망 학습에서의 성능 저하 요인을 특정하기 위해 DeepStack을 재현하기 위해.
• 실제 수렴 속도가 향상되고 회귀 누적량이 감소하는 DCFR+라는 수정된 반사적 회귀 최소화 알고리즘을 도입하기 위해.
• 메모리 전송 오버헤드를 제거하고 처리량을 극대화하기 위해 CUDA와 C++를 사용해 Supremus의 맞춤형 완전한 GPU 가속 구현을 설계하기 위해.
• 계층적 하위게임 해결 기법과 대규모 데이터(강의 네트워크의 경우 최대 5000만 개의 하위게임)를 사용해 각 게임 라운드(강, 턴, 플랍, 프리플랍)에 대해 별도의 신경망을 학습시키기 위해.
• DeepStack의 더러운 이산화보다 더 세밀한 베팅 옵션(예: 0.33, 0.5, 0.75 풀 크기 베팅)을 포함한 다수준 행동 추상화를 도입하기 위해.
• 신경망 학습 목표로 Huber 손실을 사용했으며, 검증 손실이 DeepStack보다 크게 낮아 가치 함수 일반화가 향상되었음을 나타내기 위해.

실험 결과

연구 질문

• RQ1 핵심 구성 요소가 개선된 깊이 있는 반사적 가치 네트워크가 한정된 텍사스 홀드'em에서 최고 성능을 달성할 수 있는가?
• RQ2 원래 DeepStack의 이론적 우월성에도 불구하고 왜 그 구현이 광범위하게 채택되지 않았는가?
• RQ3 균형점 찾기 수렴, 신경망 정확도, 행동 추상화의 해상도 향상이 DCFVnet 성능에 얼마나 기여하는가?
• RQ4 GPU 최적화된 종단 간 DCFV넷 파이프라인은 Slumbot와 같은 기존 추상화 기반 에이전트를 능가할 수 있는가?
• RQ5 학습 데이터의 증가와 더 깊은 검색 깊이가 HUNL 포커에서 탐욕성과 헤드투헤드 성능에 어떻게 영향을 미치는가?

주요 결과

• Supremus는 2018년 연간 컴퓨터 포커 대회 우승자이자 최상위 수준의 검색 기반 포커 AI인 Slumbot을 게임당 176 ± 44 소블라인으로 이겼다.
• DeepStack의 재현은 Slumbot에게 게임당 63 ± 40 소블라인으로 지며, 원래 DCFVnet 접근 방식이 표준 벤치마크에서 경쟁력이 없음을 입증한다.
• Supremus는 게임당 3 mbb/g의 탐욕성을 기록하여 DeepStack보다 훨씬 낮아, 더 강력한 균형점 수렴과 더 적은 대응 공격에 대한 취약성을 나타낸다.
• Supremus의 강 네트워크는 검증 Huber 손실이 0.015를 기록한 반면, DeepStack의 동등한 네트워크(턴 네트워크)는 검증 손실이 0.026였으며, 이는 더 뛰어난 가치 함수 일반화를 의미한다.
• Supremus의 플랍 네트워크는 검증 Huber 손실이 0.011로, DeepStack의 0.034보다 3배 낮아 더 깊은 게임 상태에서의 학습 향상을 보여준다.
• Supremus는 동일 하드웨어에서 단일 GPU에서 0.8초에 1000회의 DCFR+ 반복을 완료하며, DeepStack 대비 6배 이상 빠른 속도를 기록했다. 이는 최적화된 GPU 메모리 접근과 커널 설계 덕분이었다.