[논문 리뷰] Accelerating Self-Play Learning in Go

David Wu|arXiv (Cornell University)|2019. 02. 27.

Artificial Intelligence in Games참고 문헌 19인용 수 49

한 줄 요약

KataGo는 AlphaZero 유사 자가 학습에 대한 도메인 독립적 및 도메인 특화 개선을 도입하여 Go에서 약 50배의 계산 효율성을 달성하고, 더 적은 하드웨어로 ELF OpenGo를 능가합니다.

ABSTRACT

By introducing several improvements to the AlphaZero process and architecture, we greatly accelerate self-play learning in Go, achieving a 50x reduction in computation over comparable methods. Like AlphaZero and replications such as ELF OpenGo and Leela Zero, our bot KataGo only learns from neural-net-guided Monte Carlo tree search self-play. But whereas AlphaZero required thousands of TPUs over several days and ELF required thousands of GPUs over two weeks, KataGo surpasses ELF's final model after only 19 days on fewer than 30 GPUs. Much of the speedup involves non-domain-specific improvements that might directly transfer to other problems. Further gains from domain-specific techniques reveal the remaining efficiency gap between the best methods and purely general methods such as AlphaZero. Our work is a step towards making learning in state spaces as large as Go possible without large-scale computational resources.

연구 동기 및 목표

• Go에서 자가 학습 학습에 필요한 계산 자원을 외부의 인간 데이터나 지식 없이 줄이려는 동기를 부여한다.
• AlphaZero 유사 강화학습으로 일반적으로 적용 가능한 개선점을 개발하고 남아 있는 효율성 격차를 식별한다.
• 일반 방법을 넘어 Go 학습을 더 빠르게 가속화하는 도메인 특화 기술을 입증한다.

제안 방법

• AlphaGo/Zero 아키텍처를 닮은 신경망 가이드 검색이 결합된 계획자 보강 MCTS를 채택한다.
• 검색 깊이를 달리하여 정책 및 가치 훈련의 균형을 맞추는 플레이아웃 캡 무작위화를 도입하되 하위 집합의 차례에 대해 전체 검색을 수행한다.
• 탐색에서 정책 타깃을 분리하고 강제 플레이를 강제하는 정책 타깃 프루닝을 구현한다.
• 글로벌 컨텍스트를 보드 상태 전체에 제공하기 위해 신경망에 글로벌 풀링을 추가한다.
• 정책 타깃을 보조적으로 예측하는 보조 타깃을 도입하여 훈련을 정규화한다.
• 도메인 특화 기능 및 소유권/점수 타깃을 통합하여 학습 효율을 향상시킨다.

실험 결과

연구 질문

• RQ1 비도메인 특화 개선만으로 AlphaZero 유사 방법에 비해 효율성 격차를 좁힐 수 있는가?
• RQ2 도메인 특화 특성(소유권, 점수 타깃)이 Go의 학습 효율성에 얼마나 기여하는가?
• RQ3 플레이아웃 캡 무작위화, 정책 타깃 프루닝, 글로벌 풀링과 같은 기법이 샘플 효율성 및 최종 강도에 어떤 영향을 미치는가?
• RQ4 비교 가능한 계산 예산에서 KataGo가 ELF OpenGo 및 Leela Zero에 비해 어떻게 성능을 내는가?
• RQ5 보조 타깃 및 입력 특성이 바깥의 강화 학습 작업으로 얼마나 일반화될 수 있는가?

주요 결과

• KataGo는 27 GPUs에서 19일 동안 약 1.4 GPU-years의 경쟁 강도를 달성했고 ELF/OpenGo 규모 대비 약 50배의 효율성 향상을 보인다.
• ELF에 대해 KataGo는 self-play 계산에서 약 50x의 효율 우위를 보이며 상대 Elo 상승이 시연되었습니다.
• 절삭 실험은 플로잇 아웃 캡 무작위화, 글로벌 풀링, 및 보조 타깃 각각이 측정 가능한 효율 이득을 제공하며, 결합 효과가 상당한 속도 증가를 낳는다(표 2의 근사 합산 계수).
• 보조 소유권 및 점수 타깃은 학습 효율성을 크게 향상시켰고, 일반 방법을 넘어선 Go 특화 입력 특징도 속도 증가에 의미 있게 기여했다.
• 정책 타깃 프루닝과 강제 플레이는 정책 타깃을 검색 역학으로부터 분리하여 신경망의 수렴을 돕는다.
• KataGo는 AlphaZero 유사 방법과 최적화된 자가 학습 간의 큰 효율성 격차가 여전히 남아 있음을 보여주며, Go에서도 데이터 효율성을 더 개선할 여지가 있음을 시사한다.