[論文レビュー] Accelerating Self-Play Learning in Go

David Wu|arXiv (Cornell University)|Feb 27, 2019

Artificial Intelligence in Games参考文献 19被引用数 49

ひとこと要約

KataGo は AlphaZero 系 self-play にドメイン非依存およびドメイン特化の改善を導入し、Go で約 50x の計算効率を達成し、より少ないハードウェアで ELF OpenGo を上回る。

ABSTRACT

By introducing several improvements to the AlphaZero process and architecture, we greatly accelerate self-play learning in Go, achieving a 50x reduction in computation over comparable methods. Like AlphaZero and replications such as ELF OpenGo and Leela Zero, our bot KataGo only learns from neural-net-guided Monte Carlo tree search self-play. But whereas AlphaZero required thousands of TPUs over several days and ELF required thousands of GPUs over two weeks, KataGo surpasses ELF's final model after only 19 days on fewer than 30 GPUs. Much of the speedup involves non-domain-specific improvements that might directly transfer to other problems. Further gains from domain-specific techniques reveal the remaining efficiency gap between the best methods and purely general methods such as AlphaZero. Our work is a step towards making learning in state spaces as large as Go possible without large-scale computational resources.

研究の動機と目的

• Go における self-play 学習に必要な計算資源を、外部の人間データや知識を用いずに削減する動機づけ。
• AlphaZero 似 強化学習へ転用可能な一般的改善を開発し、残る効率のギャップを特定する。
• 一般的な手法を超えて Go 学習をさらに加速するドメイン特有の技術を示す。

提案手法

• AlphaGo/Zero アーキテクチャに似たニューラルネット guided 検索を用いたプランナー強化 MCTS を採用する。
• 探索深さを変えることでポリシーと値の学習のバランスを取るプレイアウトキャップの乱択化を導入し、一定のターンで完全検索を行う。
• 探索とポリシーターゲットを分離し強制プレイアウトを課すためにポリシーターゲット剪定を実装。
• 盤面全体の文脈を提供するためにニューラルネットにグローバルプーリングを追加。
• トレーニングを正規化するために対局相手の応手を予測する補助的ポリシーターゲットを組み込む。
• ドメイン特有の特徴と所有権/スコアターゲットを統合して学習効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン非特化の改善だけで AlphaZero 系手法との効率格差を埋められるか？
• RQ2 Go における学習効率に対するドメイン特有の特徴（所有権、スコアターゲット）の寄与はどれくらいか？
• RQ3 プレイアウトキャップ乱択化、ポリシーターゲット剪定、グローバルプーリングなどの技術がサンプル効率と最終的な強さに与える影響は？
• RQ4 同等の計算予算の下で KataGo は ELF OpenGo および Leela Zero と比較してどのように性能を示すか？
• RQ5 補助ターゲットと入力特徴量は Go 以外の強化学習タスクへどの程度一般化できるか？

主な発見

要素	Elo	倍率
Main Run, baseline	1329	1.00x
Playout Cap Randomization	1242	1.37x
F.P. and Policy Target Pruning	1276	1.25x
Global Pooling	1153	1.60x
Auxiliary Policy Targets	1255	1.30x
Aux Owner and Score Targets	1139	1.65x
Game-specific Features and Opts	1168	1.55x

• KataGo は 27 GPU 上で約19日間、約1.4 GPU-years の競争力を達成し、ELF/OpenGo のスケールより約50倍効率的。
• ELF に対して、自己対話計算で約50xの効率優位を示し、相対 Elo 増加が示された。
• アブレーション実験は、プレイアウトキャップ乱択化、グローバルプーリング、補助ターゲットがそれぞれ測定可能な効率向上をもたらし、組み合わせ効果で大幅な高速化を生む（表2の近似係数の総和）。
• 補助 ownership と score targets は学習効率を大幅に改善し、Go 固有の入力特徴も一般的手法を超えた速度向上に意味深く寄与。
• Policy target pruning with forced playouts decouples policy targets from search dynamics, aiding convergence of the neural net.
• KataGo は Go でも AlphaZero 系手法と最適化された self-play との間に大きな効率格差が残ることを示しており、さらなるデータ効率改善の余地を示唆。