[論文レビュー] Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm

David Silver, Thomas Hubert+11 more|arXiv (Cornell University)|Dec 5, 2017

Artificial Intelligence in Games参考文献 23被引用数 1,079

ひとこと要約

AlphaZeroは一般的な強化学習アルゴリズムで、自己対戦を通じてチェス、将棋、囲碁をゼロから学習し、1つのニューラルネットワークとモンテカルロ木探索を用いて数時間で超人レベルの性能に到達する。各分野で世界チャンピオン級のプログラムを打ち負かす。

ABSTRACT

The game of chess is the most widely-studied domain in the history of artificial intelligence. The strongest programs are based on a combination of sophisticated search techniques, domain-specific adaptations, and handcrafted evaluation functions that have been refined by human experts over several decades. In contrast, the AlphaGo Zero program recently achieved superhuman performance in the game of Go, by tabula rasa reinforcement learning from games of self-play. In this paper, we generalise this approach into a single AlphaZero algorithm that can achieve, tabula rasa, superhuman performance in many challenging domains. Starting from random play, and given no domain knowledge except the game rules, AlphaZero achieved within 24 hours a superhuman level of play in the games of chess and shogi (Japanese chess) as well as Go, and convincingly defeated a world-champion program in each case.

研究の動機と目的

• 1つの汎用的な強化学習アルゴリズムが、ルール以上のドメイン知識なしで、マルチな複雑な盤上ゲームにおいて白紙から超人レベルの性能を達成できることを示す。
• 自己対戦とニューラルネットワークおよびMCTSにより、チェスと将棋だけでなく囲碁においても専門エンジンと同等以上の性能を再現または超えることを示す。
• このアプローチの学習ダイナミクス、探索効率、そして従来のドメイン特化手法と比較したスケーラビリティを分析する。
• チェスにおける学習戦略が人間的なオープニングを含むか、および手法がゲーム間で一般化するかを明らかにする。

提案手法

• ゲームルール以外のドメイン知識を用いず、自己対戦から学習する一般的なAlphaZeroアルゴリズムを使用。
• ボード状態と行動をニューラルネットワークの入力/出力として表現し、各ゲームに適した方針(head)と価値(head) f_theta(s) -> (p,v) を含める。
• ネットワークを guided by MCTS によって自己対戦を通じて訓練し、損失は平均二乗誤差と交差エントロピーを組み合わせて、vとpを結果と探索確率に整合させる。
• 探索のための根元事前分布にDirichletノイズを適用し、単一の継続的に更新されるネットワークを用いて最良の対戦相手に対して反復する。
• 同じアルゴリズム設定をGo、チェス、将棋の三ゲームで適用し、ゲームごとの入力/出力表現と1手あたり800回のMCTSシミュレーションを用いる。
• 最強のドメイン特化エンジン（チェスはStockfish、将棋はElmo）およびGoのAlphaGo Zero前任者と対戦して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 一般的な目的の強化学習アルゴリズムは、ランダムプレイ（白紙）からチェスと将棋で超人レベルの性能を達成できるか。
• RQ2 ニューラルネットワークに導かれるAlphaZeroのMCTSは、これらの分野で伝統的なアルファベータ探索エンジンと比較してどのような性能を示すか。
• RQ3 学習された方針はチェスで人間のようなオープニングと戦略を探索し、これらの一般的な手法はゲーム間で転用可能か。
• RQ4 異なるゲームでの学習曲線と超人レベルの性能達成までの時間はどうスケールするか。

主な発見

• AlphaZeroはチェスで約30万ステップ（約4時間）後にStockfishを超える。
• AlphaZeroは将棋で約11万ステップ（2時間未満）後にElmoを超える。
• AlphaZeroは囲碁で約16.5万ステップ（8時間）後に以前の3日間のAlphaGo Zeroを打ち負かす。
• 100局のトーナメントで、AlphaZeroはStockfish、Elmo、3日間のAlphaGo Zeroを打ち負かし、Stockfishには1局も敗れず、ElmoまたはAG0系にごくわずかな敗北しかない。
• AlphaZeroのニューラルネットワークを用いたMCTSは、思考時間の増加とともにベースラインのアルファベ Betaエンジンよりもスケールする傾向があり、これらの分野における探索優位性に対する仮定に挑戦する。
• AlphaZeroは自己対戦中に一般的な人間のオープニングを学習し頻繁に採用し、これらのオープニングから Stockfish を打ち負かす。