[論文レビュー] POLY-HOOT: Monte-Carlo Planning in Continuous Space MDPs with Non-Asymptotic Analysis

Weichao Mao, Kaiqing Zhang+2 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿では、連続的状態空間におけるマルコフ決定過程（MDP）のためのモンテカルロ探索アルゴリズムであるPOLY-HOOTを提案する。この手法は、階層的明確最適化（HOO）の多項式ボーナス版とモンテカルロ木探索（MCTS）を統合し、非定常報酬に対応するため、標準の対数ボーナスを多項式ボーナスに置き換える。これにより、非漸近的収束が多項式レートで達成され、最適値関数の任意の小さな近傍に収束することが保証され、実験的評価では離散化手法や対数ボーナスベースラインと比較して優れたサンプル効率とロバストネスを示した。

ABSTRACT

Monte-Carlo planning, as exemplified by Monte-Carlo Tree Search (MCTS), has demonstrated remarkable performance in applications with finite spaces. In this paper, we consider Monte-Carlo planning in an environment with continuous state-action spaces, a much less understood problem with important applications in control and robotics. We introduce POLY-HOOT, an algorithm that augments MCTS with a continuous armed bandit strategy named Hierarchical Optimistic Optimization (HOO) (Bubeck et al., 2011). Specifically, we enhance HOO by using an appropriate polynomial, rather than logarithmic, bonus term in the upper confidence bounds. Such a polynomial bonus is motivated by its empirical successes in AlphaGo Zero (Silver et al., 2017b), as well as its significant role in achieving theoretical guarantees of finite space MCTS (Shah et al., 2019). We investigate, for the first time, the regret of the enhanced HOO algorithm in non-stationary bandit problems. Using this result as a building block, we establish non-asymptotic convergence guarantees for POLY-HOOT: the value estimate converges to an arbitrarily small neighborhood of the optimal value function at a polynomial rate. We further provide experimental results that corroborate our theoretical findings.

研究の動機と目的

• 連続的状態および連続的行動空間におけるモンテカルロ計画法に理論的保証が欠如している問題に対処すること。
• 事前に指定された行動離散化の限界を克服すること。これは、計算コストと解の最適性の間でトレードオフを生じさせる。
• 対数ボーナス項を用いる既存の連続的MCTS手法（例：HOOT）は、強い理論的収束保証を欠いていることへの改善を図ること。
• 非定常バンディット設定におけるレギュレートの分析を通じて、連続空間におけるMCTSの非漸近的収束レートを確立すること。
• 理論的改善を、ベンチマーク制御環境における実験的評価を通じて検証すること。

提案手法

• 上位信頼区間におけるHOOバンディット戦略を、標準の対数ボーナスに代えて多項式ボーナス項を導入することで強化し、非定常報酬に対応する。
• 強化されたHOO戦略をMCTSに統合し、POLY-HOOTを構築することで、連続的行動空間の適応的かつ階層的な分割を可能にする。
• すべての状態に対して値関数オракルをゼロに設定し、値推定バイアスとは独立して計画性能を評価する。
• 公平な比較のため、PUCTにおけるプログレッシブワイドニングに平方根成長係数を採用するが、アルゴリズム間でMCTSの深さとシミュレーション回数を固定する。
• POLY-HOOTのための主要なアルゴリズムパラメータとして、ρ = 1/4^m、ν₁ = 4m、およびα=5、ξ=20、η=0.5を設定し、HOO木の深さをH̄=10に制限する。
• アルゴリズム間のサンプル複雑性と収束速度の評価のため、評価においてシミュレーションラウンドを対数スケールで設定する。

実験結果

リサーチクエスチョン

• RQ1 HOOに基づくMCTSに多項式ボーナスを適用することで、非定常報酬を伴う連続的MDPにおいて非漸近的収束を保証できるか？
• RQ2 非定常バンディット問題において、強化されたHOO戦略のレギュレート集中レートはどのように比較されるか？
• RQ3 POLY-HOOTは、離散化-UCTおよびプログレッシブワイドニング付きPUCTよりも高速な収束と優れたサンプル効率を達成するか？
• RQ4 離散化-UCTの性能は、行動離散化レベルの選択にどれほど敏感か？
• RQ5 POLY-HOOTは、対数ボーナスを用いるHOOTよりも理論的および実践的両面で優れているか？

主な発見

• POLY-HOOTは、最適値関数の任意の小さな近傍に多項式レートで非漸近的収束を達成し、強力な理論的保証を提供する。
• 多項式ボーナスを用いた強化されたHOO戦略は、非定常バンディット問題においてレギュレート集中が向上し、POLY-HOOTの収束の理論的基盤を形成する。
• CartPoleおよびCartPole-IGタスクにおいて、POLY-HOOTとHOOTは、離散化-UCTおよびPUCTと比較して、最適報酬に到達するためのシミュレーションラウンドが著しく少ない。
• 離散化-UCTの性能は、行動離散化レベルに極めて敏感であり、細かいグリッドに切り替えても一貫した改善が得られず、グリッドの粗さがわずかに変化するだけで報酬の変動が顕著に現れた。
• 結果から、POLY-HOOTにおけるHOOを用いた適応的分割が、事前に指定された固定グリッドの離散化に比べ、より優れたサンプル複雑性とロバストネスをもたらすことが示された。
• 実験的結果は理論的分析を裏付け、POLY-HOOTが収束速度と安定性の両面で離散化-UCTおよびHOOTを上回ることを示した。