[論文レビュー] Multi-Labelled Value Networks for Computer Go

Ti-Rong Wu, I‐Chen Wu+5 more|arXiv (Cornell University)|May 30, 2017

Artificial Intelligence in Games参考文献 25被引用数 5

ひとこと要約

本論文は、コンピュータ囲碁におけるマルチラベル（ML）値ネットワークを導入し、複数のコミ値を同時に学習することで動的コミ調整を可能にするとともに、平均二乗誤差（MSE）を低減する。ML値ネットワークはポリシー性能を向上させ、標準値ネットワークベースラインに対して67.6％の勝率を達成し、これまで値ネットワークでは達成できなかった手厚い対局における強力な戦いを可能にする。

ABSTRACT

This paper proposes a new approach to a novel value network architecture for the game Go, called a multi-labelled (ML) value network. In the ML value network, different values (win rates) are trained simultaneously for different settings of komi, a compensation given to balance the initiative of playing first. The ML value network has three advantages, (a) it outputs values for different komi, (b) it supports dynamic komi, and (c) it lowers the mean squared error (MSE). This paper also proposes a new dynamic komi method to improve game-playing strength. This paper also performs experiments to demonstrate the merits of the architecture. First, the MSE of the ML value network is generally lower than the value network alone. Second, the program based on the ML value network wins by a rate of 67.6% against the program based on the value network alone. Third, the program with the proposed dynamic komi method significantly improves the playing strength over the baseline that does not use dynamic komi, especially for handicap games. To our knowledge, up to date, no handicap games have been played openly by programs using value networks. This paper provides these programs with a useful approach to playing handicap games.

研究の動機と目的

• ゲーム中における動的コミ調整に対応できない単一コミ値ネットワークの限界を解消すること。
• 複数のコミ設定を同時に学習させることで、値ネットワーク予測の平均二乗誤差（MSE）を低減すること。
• コンピュータ囲碁プログラムが強力な手厚い対局を可能にするよう、値ネットワークベースのシステムでこれまで達成できなかった能力を実現すること。
• 新規の動的コミメカニズムを通じて、全体的な対局強度を向上させること。

提案手法

• ML値ネットワークは、共有バックボーンネットワークと複数の出力ヘッドを用いて、1回の順伝播で複数のコミ値に対する勝率を出力するように学習される。
• 各出力ヘッドは異なるコミ設定に対応し、自己対局および評価中にコミ値の間で一般化できるようにする。
• ネットワークアーキテクチャは、共有畳み込み特徴抽出器に続いて、異なるコミ値用の複数の全結合ヘッドを備える。
• 複数ラベル学習目的関数により、すべてのコミ設定で同時にMSEを最小化し、一般化性能を向上させ、誤差を低減する。
• ゲーム中におけるネットワーク予測に基づいてコミを動的に調整する新しい動的コミ手法を提案し、適応性を向上させる。
• 探索をガイドし、ポリシー選択を改善するために、モンテカルロ木探索（MCTS）フレームワークにこのアプローチを統合する。

実験結果

リサーチクエスチョン

• RQ1 単一の値ネットワークアーキテクチャが、複数のコミ値に対する勝率を同時に効果的に予測できるか？
• RQ2 複数のコミ値を同時に学習させることで、単一コミネットワークと比較してMSEが低減するか？
• RQ3 動的コミ調整が、特に手厚い対局において対局強度を向上させられるか？
• RQ4 値ネットワークを用いて強力な手厚い対局を効果的に可能にすることができるか、これは従来の値ネットワークベースのシステムでは達成できなかった目標であった。
• RQ5 ML値ネットワークが、標準値ネットワークベースラインに対して測定可能な勝率の向上をもたらすか？

主な発見

• ML値ネットワークは、すべてのコミ設定において、標準値ネットワークよりも低い平均二乗誤差（MSE）を達成した。
• ML値ネットワークを用いたプログラムは、単一コミ値ネットワークを使用するベースラインプログラムに対して67.6％の対局勝率を記録した。
• 提案された動的コミ手法は、特に手厚い対局において、対局強度を顕著に向上させた。これは、従来の値ネットワークベースのプログラムが達成できなかった分野であった。
• ML値ネットワークは、値ネットワークを用いた手厚い対局の最初の実現例を可能にし、実用的妥当性を示した。
• アーキテクチャが複数のコミ値を同時に予測できる能力のおかげで、一般化性能が向上し、特定の1つのコミ設定への過学習が低減された。