[論文レビュー] SAI: a Sensible Artificial Intelligence that plays with handicap and targets high scores in 9x9 Go (extended version)

Francesco Morandin, Gianluca Amato+4 more|arXiv (Cornell University)|May 26, 2019

Artificial Intelligence in Games参考文献 10被引用数 5

ひとこと要約

本論文は、9×9ゴリの最終スコアを最大化することを目的とし、勝敗確率のみを最適化するのではなく、AlphaGo風のエージェントを強化する新規強化学習フレームワークSAI（Sensible Artificial Intelligence）を紹介する。スコア差をパラメータにした2パラメータのシグモイド関数として勝率をモデル化し、中間局面からの分岐を伴う二重価値ヘッドニューラルネットワークを用いることで、人間を超える性能を達成。最終スコアと位置のハンディキャップの両方で効果的にプレーでき、深刻な不利状況からの回復も可能であり、大幅なコミ補正を受けてもプロ棋士との対局で勝利を挙げた。

ABSTRACT

We develop a new model that can be applied to any perfect information two-player zero-sum game to target a high score, and thus a perfect play. We integrate this model into the Monte Carlo tree search-policy iteration learning pipeline introduced by Google DeepMind with AlphaGo. Training this model on 9x9 Go produces a superhuman Go player, thus proving that it is stable and robust. We show that this model can be used to effectively play with both positional and score handicap, and to minimize suboptimal moves. We develop a family of agents that can target high scores against any opponent, and recover from very severe disadvantage against weak opponents. To the best of our knowledge, these are the first effective achievements in this direction.

研究の動機と目的

• 完璧な情報、2人零和の二人ゲームにおいて、勝敗の結果のみを目的とせず、最終スコアを高めるのを目的とした強化学習エージェントの開発。
• 二値の勝敗報酬に起因する、既存のAlphaGo風エージェントにおける学習の不安定性および非最適な終盤戦術の問題の解決。
• 訓練および評価の両方で、さまざまな実力レベルに対応できる、スコアハンディキャップおよび位置ハンディキャップの効果的かつ効率的な実装。
• 弱い相手と対戦する際、深刻な不利状況からも強力なエージェントが回復できることの実現。
• 人間のプロ棋士との対局を通じた検証により、フレームワークの堅牢性および人間を超える強さの確認。

提案手法

• 最終スコア差をパrameterとする2パラメータのシグモイド関数として勝率をモデル化し、最終スコアに対する連続的监督を可能にする。
• AlphaGo強化学習パイプラインを変更し、ニューラルネットワークの価値ヘッドを二重化して、勝率と期待スコアの両方を予測する。
• 自己対戦訓練中に中間局面からの分岐を導入し、スコアに基づく目的関数の学習を安定化させる。
• 訓練中にさまざまなスコアハンディキャップに一般化可能なパラメトリックな価値関数族を用いる。
• 2台のエントリーレベルGPUを用いて9×9ゴリで訓練し、膨大な数のモンテカルロ木探索シミュレーションを活用。
• 自己対戦と弱いネットワーク、人間のプロ棋士とのクロス評価を用いてモデルをキャリブレーションし、性能を検証。

実験結果

リサーチクエスチョン

• RQ1 人間の知識やドメイン特化報酬設計に依存せずに、ゴリにおいて勝率ではなく最終スコアを最大化するように、深層強化学習エージェントを訓練できるか？
• RQ2 エージェントはスコアハンディキャップおよび位置ハンディキャップの両方で、さまざまな不利状況においても強力な性能を維持できるか？
• RQ3 弱い相手と対戦する際、深刻な不利状況からも回復できることで、戦略的深さとスコア認識能力が裏付けられるか？
• RQ4 大幅なコミ補正やハンディキャップを受けても、実際の対局でプロ棋士に対して人間を超える性能を示せるか？
• RQ5 提案されたSAIフレームワークは、複数回の訓練ランと評価設定において一貫した性能を示すなど、安定的かつ一般化可能であるか？

主な発見

• SAIは9×9ゴリで人間を超える性能を達成し、13.5コミのペナルティを受けてもプロ7段棋士に勝利した。戦術的深さとスコア認識の高さが裏付けられた。
• プロ棋士との対局では5戦中4勝を挙げ、コミが1.5（白が投了で勝利）および3.5（同）の低コミでも勝利。13.5コミを受けて黒番で1.5ポイント差で勝利した。
• スコアハンディキャップを適用した場合、最大6ポイントのペナルティを受けても、弱いネットワーク（W1, W2）に対して白番で70％以上の勝率を維持し、8ポイントペナルティ時でも5.6％の勝利を記録した。
• 位置ハンディキャップ（H2）を適用した場合、0.5コミボーナスを受けても、最弱ネット（W3）に対して白番で16.4％の勝率を示し、複雑なハンディキャップルールへの適応が効果的であった。
• 複数回の訓練ランにわたり、安定的かつ堅牢な学習が確認され、強力なネットと弱いネットの両方で一貫したキャリブレーションが行われ、性能指標の分散も低かった。
• SAIフレームワークは深刻な不利状況からの回復を成功させ、6ポイントのスコア劣位からでも勝利を挙げた。戦略的深さとスコア指向能力の裏付けとなった。