[論文レビュー] Better Computer Go Player with Neural Network and Long-term Prediction

Yuandong Tian, Yan Zhu|arXiv (Cornell University)|Nov 19, 2015

Artificial Intelligence in Games参考文献 14被引用数 14

ひとこと要約

この論文では、1手先の予測にとどまらず、複数の未来の手を予測することで手の予測性能を向上させる、深層畳み込みニューラルネットワーク（DCNN）に基づく囲碁AI「Darkforest」を紹介する。長期的予測を活用して勾配信号を豊かにすることで、モデルはKGS囲碁サーバーで安定した3段の実力を見せる。さらにモンテカルロ木探索（MCTS）と組み合わせることで、5段の実力に達し、Zen や CrazyStone といったトップクラスの囲碁AIと同等の性能を発揮する。

ABSTRACT

Competing with top human players in the ancient game of Go has been a long-term goal of artificial intelligence. Go's high branching factor makes traditional search techniques ineffective, even on leading-edge hardware, and Go's evaluation function could change drastically with one stone change. Recent works [Maddison et al. (2015); Clark & Storkey (2015)] show that search is not strictly necessary for machine Go players. A pure pattern-matching approach, based on a Deep Convolutional Neural Network (DCNN) that predicts the next move, can perform as well as Monte Carlo Tree Search (MCTS)-based open source Go engines such as Pachi [Baudis & Gailly (2012)] if its search budget is limited. We extend this idea in our bot named darkforest, which relies on a DCNN designed for long-term predictions. Darkforest substantially improves the win rate for pattern-matching approaches against MCTS-based approaches, even with looser search budgets. Against human players, the newest versions, darkfores2, achieve a stable 3d level on KGS Go Server as a ranked bot, a substantial improvement upon the estimated 4k-5k ranks for DCNN reported in Clark & Storkey (2015) based on games against other machine players. Adding MCTS to darkfores2 creates a much stronger player named darkfmcts3: with 5000 rollouts, it beats Pachi with 10k rollouts in all 250 games; with 75k rollouts it achieves a stable 5d level in KGS server, on par with state-of-the-art Go AIs (e.g., Zen, DolBaram, CrazyStone) except for AlphaGo [Silver et al. (2016)]; with 110k rollouts, it won the 3rd place in January KGS Go Tournament.

研究の動機と目的

• 単一ステップの予測を超えて手の予測性能を向上させることで、ディープラーニングに基づく囲碁エージェントの性能を向上させること。
• 極めて重要なローカルな戦術的判断に対応できない純粋なパターンマッチング手法の限界を克服すること。
• DCNNにおける長期的予測が、MCTSベースのエージェントや人間プレーヤーに対する勝率を著しく向上させられることを実証すること。
• DCNNポリシー・ネットワークとMCTSを統合して、単体のモデルを上回る性能を発揮するハイブリッドシステムを構築すること。
• KGSでのランク戦やトーナメント参加といった実世界の環境において、モデルの実力を評価すること。

提案手法

• 現在の盤面状態から次のk手（k=3）を予測するように、深層畳み込みニューラルネットワーク（DCNN）を学習する。1手先の予測ではなく、複数手先の予測を対象とする。
• 19×19の囲碁盤を、石の色、ライブラリ、特殊なゲーム状態（例：コウ、ラダー）などを含むマルチチャネル入力画像として表現する。
• 長期的な戦略的パターンに焦点を当て、訓練の効率性と一般化性能を向上させるために、コンactでタスクに特化した特徴セットを採用する。
• DCNNポリシーをMCTSフレームワーク（darkfmcts3）に統合し、トップk個の予測手をアクション候補として使用して木探索を誘導する。
• ライブプレイでは動的コミとピアノイングを適用し、初期段階ではトップ3の予測を使用して探索を開始し、より広範な探索を実現するためトップ5に切り替える。
• エキスパート人間プレイヤーの対局データを用いた教師あり学習によりDCNNを学習させ、複数ステップの監視を活用して勾配信号を豊かにする。

実験結果

リサーチクエスチョン

• RQ1 1手先の予測にとどまらず、複数の未来の手を予測することで、ディープラーニングベースの囲碁エージェントの性能が向上するか？
• RQ2 DCNNにおける長期的予測が、一般化性能と戦いの強さを向上させ、特に複雑な戦術的状況下でも優れた結果をもたらすか？
• RQ3 DCNNポリシーとMCTSを組み合わせることで、既存のオープンソースおよび商業的囲碁エンジンに対する勝率にどのような影響を与えるか？
• RQ4 DCNNベースのエージェントは、重い探索に依存せずに、KGSのような公開サーバーで安定した人間プレーヤー並みの実力（例：3段）を発揮できるか？
• RQ5 MCTSと組み合わせたDCNNベースのエージェントには、特にローカルな戦術的バトルにおいて、どのような残存的な弱みが存在するか？

主な発見

• 探索なしのDCNNエージェント「Darkfores2」は、KGS囲碁サーバーで安定した3段の実力を発揮し、以前のDCNNベースのエージェント（推定4段～5段）と比べて顕著な向上を示した。
• 5,000回の展開で、ハイブリッドモデル「darkfmcts3」はPachi（10,000回の展開）との250局の対局で100%の勝率を記録し、著しい性能向上を示した。
• 75,000回の展開で、darkfmcts3はKGSで安定した5段の実力を発揮し、Zen、DolBaram、CrazyStone といった最先端の囲碁AIと同等の強さを達成した。
• 110,000回の展開と64台のGPUを用いたバージョンは、2016年1月のKGS囲碁トーナメントで3位を獲得したが、時間管理のバグにより敗北を喫した。
• Pachiに対する勝率は、純粋なDCNN（11.0%）から10万回の展開を用いた場合に72.6%に上昇し、競争力が6倍に向上した。
• 1,000回の展開ですら、DCNN+MCTSシステムは純粋なDCNNベースラインを19%以上上回る勝率を記録しており、優れたサンプル効率を示している。