[論文レビュー] Re-determinizing Information Set Monte Carlo Tree Search in Hanabi

James Goodman|arXiv (Cornell University)|Feb 16, 2019

Artificial Intelligence in Games参考文献 34被引用数 10

ひとこと要約

この論文は、ハナビで隠し情報漏洩を防ぐために、アクティブプレーヤーの視点から各ノードで相手のカード状態を再決定化する、情報集合モンテカルロ木探索（IS-MCTS）の新規拡張であるRe-determinizing IS-MCTS（RIS-MCTS）を提案する。ルートプレーヤーの知識が相手モデルに伝播するのを回避することで、RIS-MCTSは、完全なシミュレーションに代わる学習済み評価関数を用いることで40msの手番制限下でも、2〜4人ゲームにおいて先行研究を上回る最先端のパフォーマンスを達成する。

ABSTRACT

This technical report documents the winner of the Computational Intelligence in Games(CIG) 2018 Hanabi competition. We introduce Re-determinizing IS-MCTS, a novel extension of Information Set Monte Carlo Tree Search (IS-MCTS) that prevents a leakage of hidden information into opponent models that can occur in IS-MCTS, and is particularly severe in Hanabi. Re-determinizing IS-MCTS scores higher in Hanabi for 2-4 players than previously published work at the time of the competition. Given the 40ms competition time limit per move we use a learned evaluation function to estimate leaf node values and avoid full simulations during MCTS. For the Mixed track competition, in which the identity of the other players is unknown, a simple Bayesian opponent model is used that is updated as each game proceeds.

研究の動機と目的

• ハナビにおいて、隠しカードの非対称な知識が原因で生じる標準的なIS-MCTSにおける深刻な情報漏洩を解消すること。
• 他のプレーヤーのカードに関するルートプレーヤーの知識が相手モデルに伝わらないようにすることで、ハナビにおける協調プレイを向上させること。
• 完全なシミュレーションに代わる学習済み評価関数を用いることで、40msという厳密な時間制約下でも効率的なMCTSを可能にすること。
• IS-MCTSを、類似した隠し情報構造を持つ、特に非局所的依存関係を有する不完全情報ゲームに拡張すること。
• RIS-MCTSにおける理論的欠陥、特に不一致する決定化に起因する不可能なゲーム状態のバックプロパゲーションについての調査。

提案手法

• Re決定化IS-MCTSは、アクティブプレーヤーの視点から各ノードで隠しカード状態を再サンプリングすることで、ルートプレーヤーの知識が相手モデルに漏れ込むのを防ぐ。
• アルゴリズムは、各ノードで再決定化されたゲーム状態を持つ単一のMCTS木を使用し、別々の相手IS-MCTS木を必要としない。
• 学習済み評価関数が葉ノードの値を推定することで、完全なシミュレーションの必要性がなくなり、40ms以内のリアルタイム意思決定が可能になる。
• ルールベースのヒューリスティクスがアクション空間を制限することで、探索の複雑さを低減し、効率を向上させる。
• 評価関数の反復的トレーニングは、オフラインRIS-MCTSゲームからのデータを用い、根ノードだけでなく木全体の統計情報を活用する。
• ミックストラックでは、実行中の動的更新によりベイジアン相手モデルを用いて未知のエージェント戦略を推定する。

実験結果

リサーチクエスチョン

• RQ1 IS-MCTSにおける隠し情報漏洩は、ハナビでどのようにパフォーマンスを低下させ、その原因は何か？
• RQ2 各ノードで隠し情報を再決定化することで、情報漏洩を防ぎ、協調的不完全情報ゲームにおける相手モデルの精度を向上させられるか？
• RQ3 タイトな時間制約下でも強力なパフォーマンスを維持しつつ、学習済み評価関数が完全なシミュレーションにどの程度置き換え可能か？
• RQ4 RIS-MCTSの理論的制限、特に不一致する決定化に起因する不可能なゲーム状態のバックプロパゲーションについて、どのような点が問題となるか？
• RQ5 MCTSは、情報集合内での一様分布を超えた、信念状態の維持とより洗練された推論をサポートするために、どのように変更可能か？

主な発見

• RIS-MCTSは、40msの手番制限下で2〜4人ゲームにおいて、以前に発表された研究を上回るスコアを達成する。
• アクティブプレーヤーの視点から各ノードで隠しカードを再決定化することで、情報漏洩を効果的に防止し、戦略の融合を回避する。
• 学習済み評価関数を用いることで、完全なシミュレーションを回避でき、40msの制約内でのリアルタイム性能が実現できる。
• 理論的欠陥が存在するが、RIS-MCTSはヴァナ・IS-MCTSを上回り、CIG 2018ハナビコンペティションのミラートラックで最先端の結果を達成する。
• より高い計算予算で観察されたパフォーマンス低下は、不一致する決定化に起因する不可能なゲーム結果のバックプロパゲーションに起因するとされる。
• 本手法は、類似した隠し情報構造を持つ他の不完全情報ゲームへも一般化可能であるが、非局所性や信念状態の精錬に対処するためのさらなる研究が必要である。