[論文レビュー] Simple Regret Optimization in Online Planning for Markov Decision Processes

Zohar Feldman, Carmel Domshlak|arXiv (Cornell University)|Jun 15, 2012

Data Stream Mining Techniques被引用数 5

ひとこと要約

本稿では、一般のMDPにおけるオンライン計画に適した、単純な後悔と誤り確率の指数的減少を保証する、新しいモンテカルロ木探索（MCTS）アルゴリズムであるBRUEを提案する。非標準の状態空間サンプリング方式を採用することで、MCTS2eは異なるサンプル割り当てを異なる探索的目標に割り当て、UCTなどの最先端手法に比べて理論的・実験的性能が優れている。

ABSTRACT

We consider online planning in Markov decision processes (MDPs). In online planning, the agent focuses on its current state only, deliberates about the set of possible policies from that state onwards and, when interrupted, uses the outcome of that exploratory deliberation to choose what action to perform next. The performance of algorithms for online planning is assessed in terms of simple regret, which is the agent's expected performance loss when the chosen action, rather than an optimal one, is followed. To date, state-of-the-art algorithms for online planning in general MDPs are either best effort, or guarantee only polynomial-rate reduction of simple regret over time. Here we introduce a new Monte-Carlo tree search algorithm, BRUE, that guarantees exponential-rate reduction of simple regret and error probability. This algorithm is based on a simple yet non-standard state-space sampling scheme, MCTS2e, in which different parts of each sample are dedicated to different exploratory objectives. Our empirical evaluation shows that BRUE not only provides superior performance guarantees, but is also very effective in practice and favorably compares to state-of-the-art. We then extend BRUE with a variant of "learning by forgetting." The resulting set of algorithms, BRUE(alpha), generalizes BRUE, improves the exponential factor in the upper bound on its reduction rate, and exhibits even more attractive empirical performance.

研究の動機と目的

• 一般のMDPにおけるオンライン計画において、指数的収束保証を持つアルゴリズムの欠如に取り組むこと。
• 累積後悔のような間接的指標に依存するのではなく、単純な後悔低減を直接最適化する手法を設計すること。
• 時間制約下でも強力な性能を維持する、実用的でありながら理論的根拠を持つオンライン計画用アルゴリズムを開発すること。
• 『忘れることで学ぶ』メカニズムが、オンライン計画における収束速度と性能に与える影響を調査すること。

提案手法

• 各サンプルを探索と推定の別々の目的に割り当てる、新しいサンプリング方式MCTS2eを提案。
• MCTS2eに基づく木探索アルゴリズムBRUEを導入。Q値推定と行動選択の探索にそれぞれ専用のサンプルを用いる。
• すべての深さにわたるサンプルのバランスの取れた割り当てを実施し、限られた計画時間の中でも最適な行動の特定を保証する。
• BRUE(α)において『忘れることで学ぶ』メカニズムを適用し、より関連性の高いノードにサンプルを優先的に割り当て、収束を向上させる。
• 標準的なMCTSに内在するトレードオフを回避するため、探索と推定を分離する階層的サンプリング戦略を採用。
• 時間経過に伴い単純後悔と選択誤り確率の両方が指数的に減少することを示す理論的境界を導出。

実験結果

リサーチクエスチョン

• RQ1 一般のMDPにおいて、オンライン計画アルゴリズムは単純後悔と誤り確率の両方を指数的レートで低減させることができるか？
• RQ2 探索と推定を分離する非標準のサンプリング方式は、指数的収束を達成するために不可欠であるか？
• RQ3 『忘れることで学ぶ』メカニズムは、オンライン計画アルゴリズムの収束速度と実用的性能をどのように向上させるか？
• RQ4 BRUEは理論的保証と実験的ベンチマークの両面でUCTや他の最先端手法を上回ることができるか？

主な発見

• BRUEは単純後悔と誤り確率の両方を指数的レートで低減することを保証し、UCTのような先行アルゴリズムの多項式レート境界を著しく上回る。
• 標準的なMDPベンチマークにおける実験的評価では、BRUEは収束速度と最終的性能の両面でUCTおよびε-greedy+UCTを上回っている。
• 『忘れることで学ぶ』を組み込んだBRUE(α)バージョンは、後悔境界における指数的係数をさらに改善し、実験的性能もさらに強化されている。
• B=6,D=6およびB=2,D=16のゲーム木実験では、BRUEは特に深さの深い木においてUCTをより早く追い抜き、スケーラビリティと効率性を確認した。
• ゴール駆動MDPおよび2人ゼロサムゲームにおいても、BRUEは強力な性能を維持しており、有限ホライズンMDPにとどまらない広範な適用可能性を示している。