[論文レビュー] Bandit Algorithms for Tree Search

Pierre-Arnaud Coquelin, Rémi Munos|arXiv (Cornell University)|Aug 9, 2014

Artificial Intelligence in Games参考文献 6被引用数 178

ひとこと要約

本稿では、報酬の滑らかさを活用して、巨大または無限大の木構造における探索を改善するためのバンドイットアルゴリズム「Smooth Trees用バンドイットアルゴリズム（BAST）」および関連手法を提案する。深さに応じてスケーリングされる信頼区間を導入し、葉ノードレベルの Flat-UCB に対して有限サンプルレギュレートバウンドを示し、BAST が信頼性の高い自信に基づいて非最適な分岐を pruning することで、効率的な探索と最適経路への収束を実現することを示している。

ABSTRACT

Bandit based methods for tree search have recently gained popularity when applied to huge trees, e.g. in the game of go [6]. Their efficient exploration of the tree enables to re- turn rapidly a good value, and improve preci- sion if more time is provided. The UCT algo- rithm [8], a tree search method based on Up- per Confidence Bounds (UCB) [2], is believed to adapt locally to the effective smoothness of the tree. However, we show that UCT is "over-optimistic" in some sense, leading to a worst-case regret that may be very poor. We propose alternative bandit algorithms for tree search. First, a modification of UCT us- ing a confidence sequence that scales expo- nentially in the horizon depth is analyzed. We then consider Flat-UCB performed on the leaves and provide a finite regret bound with high probability. Then, we introduce and analyze a Bandit Algorithm for Smooth Trees (BAST) which takes into account ac- tual smoothness of the rewards for perform- ing efficient "cuts" of sub-optimal branches with high confidence. Finally, we present an incremental tree expansion which applies when the full tree is too big (possibly in- finite) to be entirely represented and show that with high probability, only the optimal branches are indefinitely developed. We illus- trate these methods on a global optimization problem of a continuous function, given noisy values.

研究の動機と目的

• UCT が示す過剰な楽観的推定による欠陥、特に最悪ケースのレギュレート性能の悪化を是正すること。
• 木構造における報酬の実際の滑らかさに適応するバンドイットベースの木探索アルゴリズムの開発。
• 巨大または無限大の木構造における木探索に対して、高い確率で成立する有限サンプルのレギュレートバウンドの確立。
• 完全な木構造を明示的に表現できない場合の段階的木拡張を可能にすること。
• 高い信頼性で非最適な部分木をカットすることで、最適経路への収束を向上させること。

提案手法

• 木の深さに指数関数的にスケーリングされる信頼区間を用いた、UCT の変種を提案し、過剰な楽観的推定を低減する。
• 葉ノードに直接 Flat-UCB を適用し、高い確率で成立する有限レギュレートバウンドを導出する。
• BAST（Smooth Trees用バンドイットアルゴリズム）を導入し、局所的な滑らかさ推定値を用いて、高い信頼性で非最適な分岐を pruning する。
• 非最適部分木が最適である可能性を動的に評価する、信頼性に基づく pruning 策略を採用する。
• 最も有望な分岐のみを成長させる、段階的木拡張メカニズムを開発し、全木の列挙を回避する。
• 信頼区間から導かれる上界の信頼区間を用いて、木内での探索と活用のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 UCT の過剰な楽観的推定は是正可能であり、木探索における最悪ケースのレギュレート性能を改善できるか？
• RQ2 高い確率で成立する保証のもとで、木探索アルゴリズムに対して有限サンプルのレギュレートバウンドを確立できるか？
• RQ3 木構造における報酬の滑らかさを活用して、非最適な部分木を効率的に pruning できるか？
• RQ4 高い信頼性で最適な分岐に焦点を当てた、段階的木拡張が可能か？
• RQ5 木探索における報酬構造の有効な滑らかさに局所的に適応するバンドイットアルゴリズムを設計できるか？

主な発見

• 深さに指数関数的にスケーリングされる信頼区間を用いた修正 UCT は、過剰な楽観的推定を低減し、最悪ケースのレギュレート性能を向上させる。
• 葉ノードに直接 Flat-UCB を適用することで、高い確率で有限レギュレートバウンドを達成し、葉ノードレベルのバンドイット手法に理論的保証を提供する。
• BAST は局所的な滑らかさを活用して、非最適部分木を高い信頼性でカットし、探索効率を向上させる。
• 段階的木拡張戦略により、高い確率で最適な分岐のみが無限に発展させられる。
• 連続的グローバル最適化問題における実験結果から、BAST は標準的な UCT よりも収束速度と精度で優れている。
• 理論的分析により、BAST が無限木でさえも、高い確率での有限レギュレートバウンドを達成することが確認された。