[論文レビュー] ELF OpenGo: An Analysis and Open Reimplementation of AlphaZero

Yuandong Tian, Jerry Ma+5 more|arXiv (Cornell University)|Feb 12, 2019

Artificial Intelligence in Games参考文献 20被引用数 42

ひとこと要約

ELF OpenGo は AlphaZero をGo用にオープンソースで再実装したもので、超人レベルの性能を達成し、研究を支援する広範なトレーニング分析、データセット、アブレーション研究を提供します。

ABSTRACT

The AlphaGo, AlphaGo Zero, and AlphaZero series of algorithms are remarkable demonstrations of deep reinforcement learning's capabilities, achieving superhuman performance in the complex game of Go with progressively increasing autonomy. However, many obstacles remain in the understanding of and usability of these promising approaches by the research community. Toward elucidating unresolved mysteries and facilitating future research, we propose ELF OpenGo, an open-source reimplementation of the AlphaZero algorithm. ELF OpenGo is the first open-source Go AI to convincingly demonstrate superhuman performance with a perfect (20:0) record against global top professionals. We apply ELF OpenGo to conduct extensive ablation studies, and to identify and analyze numerous interesting phenomena in both the model training and in the gameplay inference procedures. Our code, models, selfplay datasets, and auxiliary data are publicly available at https://ai.facebook.com/tools/elf-opengo/.

研究の動機と目的

• コンシューマ向けハードウェアで適用可能な AlphaZero スタイルの Go AI のオープンソース再実装を提供する。
• 超人レベルの ELF OpenGo モデルを訓練し、事前学習済みモデル、自己対局データ、補助的評価データを公開する。
• Go における大規模深層強化学習に影響を与える要因を明らかにするため、訓練ダイナミクス、アブレーション、実用的考慮事項を分析する。

提案手法

• ニューラルポリシーと価値ネットワークに導かれた MCTS を用いた AlphaZero スタイルの Go 学習を再実装する。
• コンシューマGPU上で自己対局を通じて、256 フィルター、20 ブロックの残差ネットワークを1.5百万ミニバッチ（約30億のゲーム状態）で訓練する。
• 固定リプレイバッファと MCTS ベースの自己対局データを用いた SGD 最適化で、ポリシーと値のターゲットを学習する。
• PUCT 定数、仮想損失、ロールアウト数、訓練ダイナミクスに関する広範なアブレーションを実施する。
• 人間対戦と AI 対 AI のベンチマークを用いて強さを検証し、プロトタイプモデルや LeelaZero と比較する。

実験結果

リサーチクエスチョン

• RQ1 コモディティハードウェア上のオープンソース AlphaZero スタイルの Go エージェントの強さと挙動は？
• RQ2 主要なハイパーパラメータ（PUCT、仮想損失）とロールアウト数が訓練効率と最終的な強さにどのように影響するか？
• RQ3 ELF OpenGo の学習過程を特徴づける訓練ダイナミクス（梯子手、終盤対序盤の学習など）は？
• RQ4 ELF OpenGo は強さと挙動の点で人間プレイヤーや既存のオープンソースAIとどう比較されるか？

主な発見

• 最終モデルは人間との直接評価でトッププロに対して 20:0 の成績を収め、超人レベルの性能を達成する。
• 訓練は 2,000 の自己対局用 GPU および 8 台の訓練用 GPU を約16日間使用し、20 ブロックのモデルと約3十億のゲーム状態、約2000万の自己対局を得た。
• プロトタイプモデルは上位30名中4名の専門家に対して20:0を20局で達成し、ELF OpenGo は LeelaZero に対して 980:18 の勝率を達成（約 700 Elo）。
• MCTS ロールアウトを2倍にすると、白手で約200 Elo、黒手で約35-200 Elo の改善をもたらし、非対称な利得を示す。
• 梯子（見込み手）手は学習が遅く、完全には習得されていない。Go の畳み込みネットワークにおける帰納的バイアスを浮き彫りにしている。
• 訓練には大きな分散があり、学習率を下げても必ずしも性能が向上せず、自己対局データの多様性を減らす可能性がある。