[論文レビュー] Giraffe: Using Deep Reinforcement Learning to Play Chess

Matthew Lai|arXiv (Cornell University)|Sep 4, 2015

Artificial Intelligence in Games参考文献 21被引用数 68

ひとこと要約

Giraffe は、手動でコーディングされた知識を最小限に抑え、評価関数と探索戦略を自律的に学習するための深層強化学習を用いたチェスエンジンである。位置評価用の深層ニューラルネットワークと、手の確率を推定する別のネットワークを訓練することで、エンドツーエンド学習を用い、国際チェスマスタークラスの実力（約2400 FIDEレーティング）を達成した。これは、探索効率において従来のエンジンを上回り、ミニマックス探索に対するより根本的な確率的アプローチを示唆している。

ABSTRACT

This report presents Giraffe, a chess engine that uses self-play to discover all its domain-specific knowledge, with minimal hand-crafted knowledge given by the programmer. Unlike previous attempts using machine learning only to perform parameter-tuning on hand-crafted evaluation functions, Giraffe's learning system also performs automatic feature extraction and pattern recognition. The trained evaluation function performs comparably to the evaluation functions of state-of-the-art chess engines - all of which containing thousands of lines of carefully hand-crafted pattern recognizers, tuned over many years by both computer chess experts and human chess masters. Giraffe is the most successful attempt thus far at using end-to-end machine learning to play chess.

研究の動機と目的

• 手動でコーディングされた評価関数に依存せず、自己対戦と深層強化学習を通じて、分野固有の知識をすべて学習するチェスエンジンの開発。
• ミニマックス木探索において、確率制限付き探索が従来の深さ制限付き探索を上回るかの調査。
• 各手が最善手である確率を予測するニューラルネットワークの設計により、探索木の形状をより効率的に制御すること。
• エキスパートがチューニングした評価関数が不要なエンドツーエンド学習が、競争力のあるチェスエンジンを生み出せるかの評価。
• 深さベースの pruning を確率ベースの pruning に置き換えることで、より人間らしい、効率的な探索が可能かどうかの検討。

提案手法

• 自己対戦と時系列差分学習（TD-Leaf）を用いて、位置評価用の深層ニューラルネットワークを訓練し、特徴量やパターンを自動で学習。
• 深さ制限に代えて、ある手が最善手である確率がしきい値未満に下がると探索を停止する確率制限付き探索戦略を採用。
• 前方探索なしで各手が最善手である確率を推定するための第二のニューラルネットワークを活用し、探索の優先順位付けに使用。
• 確率ベースの探索フレームワーク内に alpha-beta pruning を適用し、不要な計算を削減するための境界値を用いる。
• 自己対戦によるゲームから訓練データを生成し、ネットワークの位置評価結果を用いて学習をブートストラップ。
• ネットワーク出力の正則化を組み合わせた、独自の訓練目的（TD-Leaf）を用い、評価の安定性を向上。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習システムは、手動でコーディングされたパターンやヒューリスティクスに依存せずに、競争力のあるチェス評価関数を学習できるか？
• RQ2 確率制限付き探索戦略は、探索効率と実力の面で、従来の深さ制限付き探索を上回るか？
• RQ3 前方探索なしで、ニューラルネットワークが手の相対的質を正確に予測できるか？ また、その予測は探索性能を向上させるか？
• RQ4 エンドツーエンド学習が、チェスエンジンにおける数十年にわたるエキスパートチューニング済み評価関数をどの程度置き換えられるか？
• RQ5 確率的探索は、ヌルムーブプルーニングや無意味プルーニングといった、従来のチェスエンジンにおける特効改善策を一般化できるか？

主な発見

• 明示的なパターン認識ルールが一切ないにもかかわらず、最先端のチェスエンジンに搭載された手動でコーディングされた評価関数と同等の性能を示すニューラルネットワーク評価関数。
• 初期比較において、確率制限付き探索アプローチが深さ制限付き探索を上回り、ミニマックス探索に対してより根本的で整合性の高い方法である可能性を示唆。
• 最善手が上位3位以内に入る確率が70％に達し、探索効率が著しく向上。
• 手の評価者により誘導される確率ベースの探索を用いることで、Giraffe は FIDE 国際チェスマスター（約2400 FIDEレーティング）に相当する実力を達成。
• 深層強化学習が、人為的に設計された知識を極力減らして、競争力のあるチェスエンジンを生成できることを実証。これは、ゲームAIにおけるエンドツーエンド学習への大きな一歩である。
• 確率ベースの探索が、ヌルムーブプルーニングや無意味プルーニングといった一般的な特効最適化を一般化している証拠が得られ、より広範な適用可能性を示唆。