[論文レビュー] Monte Carlo Tree Search for Asymmetric Trees

Thomas M. Moerland, Joost Broekens+2 more|arXiv (Cornell University)|May 23, 2018

Artificial Intelligence in Games参考文献 13被引用数 4

ひとこと要約

本稿では、非確率的で完全に観測可能な環境、特に非対称な木構造とループを含む状況において、効率を向上させるためのMCTS-TおよびMCTS-T+の2つの拡張手法を提案する。木構造の不確実性（$\sigma_{\tau}$）をバックアップし、それを修正されたUCB式に組み込むことで、標準MCTSに比べて優れた性能を発揮し、特にチェーンタスクやAtari 2600ゲームのような非対称な領域で顕著な向上が見られる。対称な状況では性能が低下しないことも確認された。

ABSTRACT

We present an extension of Monte Carlo Tree Search (MCTS) that strongly increases its efficiency for trees with asymmetry and/or loops. Asymmetric termination of search trees introduces a type of uncertainty for which the standard upper confidence bound (UCB) formula does not account. Our first algorithm (MCTS-T), which assumes a non-stochastic environment, backs-up tree structure uncertainty and leverages it for exploration in a modified UCB formula. Results show vastly improved efficiency in a well-known asymmetric domain in which MCTS performs arbitrarily bad. Next, we connect the ideas about asymmetric termination to the presence of loops in the tree, where the same state appears multiple times in a single trace. An extension to our algorithm (MCTS-T+), which in addition to non-stochasticity assumes full state observability, further increases search efficiency for domains with loops as well. Benchmark testing on a set of OpenAI Gym and Atari 2600 games indicates that our algorithms always perform better than or at least equivalent to standard MCTS, and could be first-choice tree search algorithms for non-stochastic, fully-observable environments.

研究の動機と目的

• 標準MCTSが部分木の深さに顕著な差がある非対称な探索木において、著しく非効率である問題に対処すること。
• 探索木に同じ状態が複数回出現するループを含む状況に対してもMCTSを拡張すること。
• 探索のバランスを改善するため、構造的不確実性（$\sigma_{\tau}$）をUCB式に組み込み、探索と活用の最適化を図ること。
• OpenAI GymやAtari 2600ゲームを含む、強い非対称性とループを有する環境において、提案手法の性能を評価すること。
• 非確率的で完全に観測可能なドメインにおいて、構造的複雑性が存在する場合に、MCTS-T(+)を標準MCTSの代替手段としての第一選択肢とする根拠を確立すること。

提案手法

• 部分木の深さや構造に関する不確実性を表す新たなバックアップ量として、木構造の不確実性（$\sigma_{\tau}$）を導入する。
• UCB式を修正し、$\sigma_{\tau}$ を組み込むことで、標準MCTSが無視する非対称な部分木の探索を可能にする。
• 非確率的環境を想定し、$\sigma_{\tau}$ を用いて非対称な木構造における探索を導くMCTS-Tを提案する。
• 完全に観測可能な環境において、ループ検出とブロッキングを追加することで、MCTS-TをMCTS-T+に拡張する。
• 選択段階で$\sigma_{\tau}$ を活用する修正された木ポリシーを用い、構造的不確実性がより高いノードを優先する。
• 葉ノードから上向きに$\sigma_{\tau}$ をバックアップすることで、各ノードが根とする部分木全体の不確実性を反映させる。

実験結果

リサーチクエスチョン

• RQ1 標準MCTSが著しく非効率となる非対称な木構造において、MCTSをより効率的にすることができるか？
• RQ2 木構造の不確実性（$\sigma_{\tau}$）を効果的に捉え、MCTSにおける探索の改善に活用する方法は何か？
• RQ3 ループ検出とブロッキングを導入することで、1つのトレース内で複数回出現する状態を有する領域におけるMCTSの性能はさらに向上するか？
• RQ4 Atari 2600ゲームやOpenAI Gymのタスクのような、ループと非対称性を有する環境において、MCTS-T+は標準MCTSを上回る性能を発揮するか？
• RQ5 提案手法は対称な環境においても頑健であり、標準MCTSと比較して性能が低下しないか？

主な発見

• チェーンタスク（非対称問題の代表例）において、MCTS-Tは標準MCTSが任意に失敗する状況でも顕著に優れた性能を発揮する。
• ループを含むチェーンタスクにおいて、MCTS-T+は構造的不確実性に加え、ループブロッキングの恩恵によりさらに性能が向上している。
• CartPoleおよびFrozenLakeの環境では、MCTS-TおよびMCTS-T+が標準MCTSを常に上回り、特にトレース数が少ない場合に顕著な優位性を示す。
• Atari 2600ゲームでは、MCTS-TおよびMCTS-T+が標準MCTSと同等以上に性能を発揮し、特にトレース予算が小さい場合には一貫した改善が見られた。
• 対称な環境においても、これらのアルゴリズムは標準MCTSを下回ることなく、デフォルトとしての使用が安全である。
• $\sigma_{\tau}$ のバックアップにより、すべての部分木が完全に列挙された場合（$\sigma_{\tau} = 0$）に早期終了が可能となり、計算効率が向上する。