[논문 리뷰] ELF OpenGo: An Analysis and Open Reimplementation of AlphaZero

Yuandong Tian, Jerry Ma외 5명|arXiv (Cornell University)|2019. 02. 12.

Artificial Intelligence in Games참고 문헌 20인용 수 42

한 줄 요약

ELF OpenGo는 Go용 AlphaZero의 오픈 소스 재구현으로, 인간을 능가하는 성능을 달성하고 연구를 돕기 위한 광범위한 훈련 분석, 데이터셋 및 ablation 연구를 제공한다.

ABSTRACT

The AlphaGo, AlphaGo Zero, and AlphaZero series of algorithms are remarkable demonstrations of deep reinforcement learning's capabilities, achieving superhuman performance in the complex game of Go with progressively increasing autonomy. However, many obstacles remain in the understanding of and usability of these promising approaches by the research community. Toward elucidating unresolved mysteries and facilitating future research, we propose ELF OpenGo, an open-source reimplementation of the AlphaZero algorithm. ELF OpenGo is the first open-source Go AI to convincingly demonstrate superhuman performance with a perfect (20:0) record against global top professionals. We apply ELF OpenGo to conduct extensive ablation studies, and to identify and analyze numerous interesting phenomena in both the model training and in the gameplay inference procedures. Our code, models, selfplay datasets, and auxiliary data are publicly available at https://ai.facebook.com/tools/elf-opengo/.

연구 동기 및 목표

• 일반 하드웨어에서 사용할 수 있도록 AlphaZero 스타일의 Go AI의 오픈 소스 재구현을 제공한다.
• 초인간 수준의 ELF OpenGo 모델을 훈련시키고 프리트레인된 모델, selfplay 데이터 및 보조 평가 데이터를 공개한다.
• Go용 대규모 딥 RL에 영향을 주는 요인을 조명하기 위해 학습 역학, ablations, 및 실용적 고려사항을 분석한다.

제안 방법

• 신경 정책 및 가치 네트워크에 의해 가이드되는 MCTS로 AlphaZero 스타일의 Go 학습을 재구현한다.
• 일반 GPU에서 self-play를 통해 256-filter, 20-block 잔차 네트워크를 1.5 million minibatches (~3B game states) 동안 훈련한다.
• 고정된 재생 버퍼와 MCTS 기반 selfplay 데이터를 사용하여 정책 및 가치 타깃을 학습하기 위한 SGD 최적화를 활용한다.
• PUCT 상수, 가상 손실(virtual loss), 롤아웃 수 및 학습 역학에 대해 광범위한 ablations를 수행한다.
• 인간 대국 및 AI-대-AI 벤치마크를 통해 강도를 검증하고 프로토타입 모델 및 LeelaZero와의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 일반 하드웨어에서 오픈 소스 AlphaZero 스타일의 Go 에이전트의 강점과 행동은 무엇인가?
• RQ2 주요 하이퍼파라미터(PUCT, virtual loss)와 롤아웃 수가 학습 효율성 및 최종 강도에 어떤 영향을 미치는가?
• RQ3 ELF OpenGo의 학습 과정을 특징짓는 학습 역학( ladder moves, 엔드게임 대 오프닝 학습 등)은 무엇인가?
• RQ4 강도와 행동 면에서 ELF OpenGo가 인간 플레이어 및 기존의 오픈 소스 AI와 어떻게 비교되는가?

주요 결과

• 최종 모델은 인간과의 직접 평가에서 상위 프로 선수들을 상대로 20:0의 성적으로 초인간 성능을 달성한다.
• 훈련은 약 16일에 걸쳐 2,000 self-play GPU와 8 training GPU를 사용하여, ~3B 게임 상태의 20-block 모델과 ~20 million self-play 게임을 생성했다.
• 프로토타입 모델은 4명의 상위 30명 프로 선수들에 대해 20:0으로 20경기에서 승리했고, ELF OpenGo는 또한 LeelaZero에 대해 980:18의 승률(약 700 Elo)을 달성했다.
• MCTS 롤아웃을 두 배로 늘리면 흰색으로 플레이할 때 ~200 Elo의 향상, 검은색으로 플레이할 때 ~35-200 Elo의 향상을 보이며 비대칭 이득을 시사한다.
• 래더(lookahead) 수들은 천천히 학습되며 완전히 숙달되지 않아 Go를 위한 컨볼루션 신경망의 귀납 편향을 강조한다.
• 훈련 변동성이 상당히 존재하며 학습률을 감소시켜도 반드시 성능이 향상되지 않으며 self-play 데이터의 다양성을 감소시킬 수 있다.