[論文レビュー] KnightCap: A chess program that learns by combining TD(lambda) with game-tree search

Jonathan Baxter, Andrew Tridgell+1 more|ArXiv.org|Jan 10, 1999

Artificial Intelligence in Games参考文献 9被引用数 15

ひとこと要約

本論文では、オンラインプレイ中にミニマックス探索木のリーフノードから学習することで、チェスプログラムの評価関数を訓練する、新しい時系列差分学習アルゴリズムTDLeaf(λ)を紹介する。KnightCapはTDLeaf(λ)を用いて、3日間で308局の対局を通じて1650から2150の評価値に向上した。この対局は、インターネットチェスサーバー（FICSとICC）で実際の人間およびコンピュータ相手と行われ、チェスのような決定論的ゲームにおけるオンラインで非自己対戦による学習の有効性を示している。

ABSTRACT

In this paper we present TDLeaf(lambda), a variation on the TD(lambda) algorithm that enables it to be used in conjunction with game-tree search. We present some experiments in which our chess program ``KnightCap'' used TDLeaf(lambda) to learn its evaluation function while playing on the Free Internet Chess Server (FICS, fics.onenet.net). The main success we report is that KnightCap improved from a 1650 rating to a 2150 rating in just 308 games and 3 days of play. As a reference, a rating of 1650 corresponds to about level B human play (on a scale from E (1000) to A (1800)), while 2150 is human master level. We discuss some of the reasons for this success, principle among them being the use of on-line, rather than self-play.

研究の動機と目的

• 時系列差分学習を用いて、チェスのような決定論的かつ深く探索可能なゲームにおける効果的な評価関数を訓練する課題に対処すること。
• 自己対戦における制限を克服すること。自己対戦は反復的で多様性に欠けた対局系列を生じさせ、一般化性能を低下させる。
• オンラインで実際の相手と学習する方法を開発し、チェスプログラムの強化学習における探索の向上と収束の加速を実現すること。
• 多様で実際の人間およびコンピュータ相手からの学習が、自己対戦に比べて、より速く質の高いポリシー改善をもたらすかどうかを調査すること。

提案手法

• TDLeaf(λ)は、TD(λ)を拡張し、ゲーム状態ではなくミニマックス探索木の主変化（principal variation）のリーフノードに基づいて評価関数を更新する。
• アルゴリズムは、リーフノードの評価に対する時系列差分更新を用い、エリギビリティトレースを用いて報酬をバックプロパゲートし、特徴量の重みを効率的に更新する。
• KnightCapの線形評価関数は、オンライン対局中にリアルタイムで訓練され、各対局後に主変化のリーフノードにTD(λ)更新ルールを適用して重みを調整する。
• システムは、複雑なポジショナル特徴量を計算できる豊富な盤面表現を用い、遅延計算にもかかわらず高品質な評価を実現する。
• 学習は、FICSおよびICCの公開サーバー上で実際の対局中に実行され、KnightCapは多様で重複のない相手戦略にさらされた。
• 実際の相手との対局に起因する探索性を活用することで、早期収束を回避し、多様で情報豊富な対局状態を提供する。

実験結果

リサーチクエスチョン

• RQ1 自己対戦が悪い探索を引き起こす決定論的ボードゲーム（チェスなど）において、時系列差分学習を深く探索するミニマックス探索に効果的に適用できるか？
• RQ2 実際の人間およびコンピュータ相手とのオンライン学習が、チェス評価関数の訓練において自己対戦よりも速く、より良い収束をもたらすか？
• RQ3 初期重み値の選択が、TD(λ)に基づく評価関数における学習速度および品質に与える影響は何か？
• RQ4 λパラメータは、即時の報酬予測と長期的価値推定のバランスを取るために果たす役割は何か？
• RQ5 TDLeaf(λ)を用いて訓練された線形評価関数は、比較的少ない対局数でマスタークラスのパフォーマンスに到達できるか？

主な発見

• KnightCapは、FICSで対局した308局、3日間のオンラインプレイを通じて、1650（Bクラスの人間レベル）から2150（マスタークラス）の評価値に向上した。
• 自己対戦実験と比較すると、性能向上が著しく速く、600局後にはFICSで訓練されたバージョンに対して僅か11%の勝率にとどまった。
• ゼロ初期化された重みから出発したKnightCapは、短時間で500ポイントの評価値上昇を達成し、実相手との対局による学習効率の高さを示した。
• ポーン価値（1250評価値）に初期化した場合、1000局後にはわずか1550程度にしか向上せず、良好な初期条件の重要性を浮き彫りにした。
• 自己対戦ではなく、オンライン対局を用いることで、より豊富で多様な経験が得られ、決定論的ゲームに内在する探索問題を効果的に解決した。
• TDLeaf(λ)は、実際の相手との相互作用を通じて、線形評価関数が複雑なポジショナル特徴量を学習し、深層ニューラルネットワークを用いずにマスタークラスのパフォーマンスに到達することを可能にした。