[論文レビュー] Multilevel Monte-Carlo for Solving POMDPs Online.

Marcus Hörger, Hanna Kurniawati+1 more|arXiv (Cornell University)|Jul 23, 2019

Reinforcement Learning in Robotics参考文献 32被引用数 7

ひとこと要約

本論文は、複雑で非線形な力学的ダイナミクスを示すシステムにおける前方シミュレーションの計算コストを低減するために、マルチレベル・モンテカルロ法を統合したオンラインPOMDPソルバー、Multilevel POMDP Planner (MLPP)を提案する。MLPPは、4つのロボット制御タスクにおいて、最先端のソルバーよりも著しく高速な収束と優れた性能を達成する。

ABSTRACT

Planning under partial obervability is essential for autonomous robots. A principled way to address such planning problems is the Partially Observable Markov Decision Process (POMDP). Although solving POMDPs is computationally intractable, substantial advancements have been achieved in developing approximate POMDP solvers in the past two decades. However, computing robust solutions for systems with complex dynamics remain challenging. Most on-line solvers rely on a large number of forward-simulations and standard Monte-Carlo methods to compute the expected outcomes of actions the robot can perform. For systems with complex dynamics, e.g., those with non-linear dynamics that admit no closed form solution, even a single forward simulation can be prohibitively expensive. Of course, this issue exacerbates for problems with long planning horizons. This paper aims to alleviate the above difficulty. To this end, we propose a new on-line POMDP solver, called Multilevel POMDP Planner (MLPP), that combines the commonly known Monte-Carlo-Tree-Search with the concept of Multilevel Monte-Carlo to speed-up our capability in generating approximately optimal solutions for POMDPs with complex dynamics. Experiments on four different problems of POMDP-based torque control, navigation and grasping indicate that MLPP substantially outperforms state-of-the-art POMDP solvers.

研究の動機と目的

• 複雑で非線形なダイナミクスを示すロボットアプリケーションにおけるPOMDPの計算不能性を解消すること。
• 特に長い計画ホライズンにおいて、オンラインPOMDPソルバにおける前方シミュレーションの高い計算コストを低減すること。
• 複数の解像度レベルでシミュレーションのサンプルを再利用することで、マルチレベル・モンテカルロを活用し、モンテカルロ木探索の効率を向上させること。
• 困難なロボットタスクに対して、より少ないシミュレーション回数で近似的最適ポリシーを生成できるスケーラブルで頑健なオンラインプランナの開発

提案手法

• 異なるシミュレーションの正確さレベルにおける価値関数推定の分散を低減するために、マルチレベル・モンテカルロ（MLMC）をモンテカルロ木探索（MCTS）に統合する。
• 計算コストが異なる（粗いものから細かいものまで）複数のシミュレーションモデルの階層を用い、期待報酬をより効率的に計算する。
• 粗いレベルからのサンプルを再利用して、細かいレベルでの期待結果を推定することで、高価な高精細度シミュレーションの回数を削減する。
• MCTSのロールアウト段階にMLMCベースの分散低減を適用し、木の展開およびバックプロパゲーション段階でのサンプル効率を向上させる。
• 各ノードに信念状態とアクション価値推定値を格納する木構造を維持し、MLMC加速シミュレーションを用いて更新する。
• MLMCの分散推定値に従って、不確実性が高くかつ潜在的な報酬が大きなノードを優先することで、探索と活用の動的バランスを保つ。

実験結果

リサーチクエスチョン

• RQ1 マルチレベル・モンテカルロは、複雑なロボットシステムにおけるオンラインPOMDP計画で、高精細度シミュレーションの回数を削減できるか？
• RQ2 MLMCをMCTSに統合することで、POMDPソルバにおけるサンプル効率と収束速度がどのように向上するか？
• RQ3 MLPPは、ソリューション品質と計算コストの観点から、既存の最先端のオンラインPOMDPソルバーよりもどの程度優れているか？
• RQ4 提案手法は、非線形ダイナミクスを示す多様なロボットタスクにおいても、頑健性と性能を維持できるか？

主な発見

• MLPPは、POMDP計画において所定のソリューション品質に到達するための高価な高精細度シミュレーションの回数を顕著に削減する。
• マルチレベル・モンテカルロをMCTSに統合することで、オンライン計画における収束速度とサンプル効率が向上する。
• MLPPは、複雑なダイナミクスを伴う4つのベンチマークタスク（トルク制御、ナビゲーション、 grasping）において、最先端のPOMDPソルバーよりも優れた性能を示す。
• より少ないシミュレーション回数で優れた性能を達成しており、長時間ホライズン計画問題において強力なスケーラビリティと頑健性を示している。