[論文レビュー] TDLeaf(lambda): Combining Temporal Difference Learning with Game-Tree Search

Jonathan Baxter, Andrew Tridgell+1 more|ArXiv.org|Jan 5, 1999

Artificial Intelligence in Games参考文献 11被引用数 25

ひとこと要約

TDLeaf(λ) は、深いつめ将棋木探索における葉ノードの値を用いて評価関数を学習する、時間差学習の新規アルゴリズムであり、チェスにおけるオンライン自己対戦（人間やコンピュータ相手）を可能にすることで、著しく性能向上を実現した。実験では、TDLeaf(λ) を使用するチェスプログラムが 308 局の対局でレーティングを 1650 から 2100 まで向上させ、葉ノード学習が根ノードや自己対戦法に比べて優れた方策学習をもたらすことを示した。

ABSTRACT

In this paper we present TDLeaf(lambda), a variation on the TD(lambda) algorithm that enables it to be used in conjunction with minimax search. We present some experiments in both chess and backgammon which demonstrate its utility and provide comparisons with TD(lambda) and another less radical variant, TD-directed(lambda). In particular, our chess program, ``KnightCap,'' used TDLeaf(lambda) to learn its evaluation function while playing on the Free Internet Chess Server (FICS, fics.onenet.net). It improved from a 1650 rating to a 2100 rating in just 308 games. We discuss some of the reasons for this success and the relationship between our results and Tesauro's results in backgammon.

研究の動機と目的

• チェスのような決定論的で深く探索可能なゲームにおいて、標準的な TD(λ) が根ノード状態からの一般化が不十分であるため、効果的な評価関数を学習するという課題に取り組むこと。
• 深いつめ将棋木探索から得られる葉ノード値を活用することで、実際に得られるゲーム結果をよりよく反映するよう、学習効率と収束速度を向上させること。
• チェスとバックギャモンの両方で、TDLeaf(λ) を TD-directed(λ) および標準 TD(λ) と比較し、さまざまな探索深さと学習環境における性能を評価すること。
• 特に初期重みが最適でない場合に、オンラインで人間が関与する学習が自己対戦に比べて優れているかどうかを検証すること。
• 深いつめ将棋が必要なゲームにおいて、葉ノード学習が根ノード学習に比べてより優れた一般化性能を示すかどうかを明らかにすること。

提案手法

• TDLeaf(λ) は TD(λ) を拡張し、時間差更新ルールを用いるが、根ノードの状態値ではなく、深いつめ将棋木探索木から抽出した葉ノード状態値に適用する。
• 各手番において主変化（principal variation）の葉ノード値を保存し、それらを時間差更新のターゲットとして評価関数の改善に用いる。
• 評価関数をパラメータ化された関数近似（例：線形関数またはニューラルネットワーク）で表現し、各手番の後で TD(λ) 更新ルールを葉状態に適用して重みをオンラインで更新する。
• 本手法は実戦中のオンライン学習をサポートしており、多様な相手との対局を通じて評価関数をリアルタイムで改善可能である。
• バックギャモンでは確率的要因に対応するための適応が行われ、2手先探索を用いて標準 TD(λ) および TD-directed(λ) と性能比較が行われ、固定重みでテストされた。
• 実験では自己対戦と人間相手の対局を併用し、オンラインサーバー（FICS、FIBS）における対局結果とレーティング変化を指標に性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 深いつめ将棋木探索からの葉ノード値で学習させることで、根ノード値で学習するのと比べて、評価関数の学習がより速く、かつ効果的になるか？
• RQ2 チェスのような決定論的ゲームにおいて、TDLeaf(λ) は深いつめ将棋が必要な状況で性能を著しく向上させられるか？
• RQ3 実際の人間およびコンピュータ相手とのオンライン学習と自己対戦の両者を比較した場合、収束速度と最終的性能に差が出るか？
• RQ4 葉ノード学習による改善効果は探索深さに依存するか？ また、チェスとバックギャモンの両ゲームに一般化されるか？
• RQ5 1手先探索用に最適化された評価関数が、より深い探索に対しても最適であるか、それとも深いつめ将棋では別の関数が必要になるか？

主な発見

• TDLeaf(λ) を使用するチェスプログラム KnightCap は、FICS での人間およびコンピュータ相手とのオンライン対局 308 局で、レーティングを 1650 から 2100 まで向上させた。
• 自己対戦のみの学習では効果がなく、自己対戦のみで学習したバージョンは FICS で学習したバージョンとの対局で 100 局中 11 局しか勝てず、多様な相手とのオンライン対局が収束を迅速にする上で不可欠であることが示された。
• チェスでの性能向上は、根ノード状態と比較して葉ノード状態の分布がより現実のゲーム結果を的確に反映していることに起因すると考えられた。
• バックギャモンでは、標準 TD(λ) と比較して TDLeaf(λ) に顕著な性能向上が認められず、1手先探索用に最適化された評価関数が2手先探索でもすでにほぼ最適であることが示唆された。
• TD-directed(λ) と TDLeaf(λ) はバックギャモンにおいて標準 TD(λ) を上回ることはできず、標準学習後、解空間がすでにほぼ最適に近づいている可能性を示唆した。
• 初期重みが良いセットに近い状態からスタートすることが収束を迅速にする上で極めて重要であり、ランダム初期化を用いた第二の実験では 600 局でたった 280 ポイントの向上にとどまり、FICS 実験の 450 ポイントの向上よりはるかに遅かった。