[论文解读] Multilevel Monte-Carlo for Solving POMDPs Online.

Marcus Hörger, Hanna Kurniawati+1 more|arXiv (Cornell University)|Jul 23, 2019

Reinforcement Learning in Robotics参考文献 32被引用 7

一句话总结

本文提出多级POMDP规划器（MLPP），一种在线POMDP求解器，通过整合多级蒙特卡洛方法，降低具有复杂非线性动力学系统的前向仿真计算成本，从而加速蒙特卡洛树搜索。在四个机器人控制任务中，MLPP相较于最先进求解器展现出显著更快的收敛速度和更优的性能。

ABSTRACT

Planning under partial obervability is essential for autonomous robots. A principled way to address such planning problems is the Partially Observable Markov Decision Process (POMDP). Although solving POMDPs is computationally intractable, substantial advancements have been achieved in developing approximate POMDP solvers in the past two decades. However, computing robust solutions for systems with complex dynamics remain challenging. Most on-line solvers rely on a large number of forward-simulations and standard Monte-Carlo methods to compute the expected outcomes of actions the robot can perform. For systems with complex dynamics, e.g., those with non-linear dynamics that admit no closed form solution, even a single forward simulation can be prohibitively expensive. Of course, this issue exacerbates for problems with long planning horizons. This paper aims to alleviate the above difficulty. To this end, we propose a new on-line POMDP solver, called Multilevel POMDP Planner (MLPP), that combines the commonly known Monte-Carlo-Tree-Search with the concept of Multilevel Monte-Carlo to speed-up our capability in generating approximately optimal solutions for POMDPs with complex dynamics. Experiments on four different problems of POMDP-based torque control, navigation and grasping indicate that MLPP substantially outperforms state-of-the-art POMDP solvers.

研究动机与目标

• 解决在具有复杂非线性动力学的实时机器人应用中求解POMDP的计算不可行性。
• 降低在线POMDP求解器中前向仿真的高计算成本，特别是针对长规划时域的情况。
• 通过利用多级蒙特卡洛复用多分辨率仿真样本，提升蒙特卡洛树搜索的效率。
• 开发一种可扩展且鲁棒的在线规划器，能够在较少仿真次数下为具有挑战性的机器人任务生成近似最优策略。

提出的方法

• 将多级蒙特卡洛（MLMC）集成到蒙特卡洛树搜索（MCTS）中，以减少不同仿真保真度层级下价值函数估计的方差。
• 使用计算成本各异的仿真模型层级（从粗略到精细）以更高效地计算期望奖励。
• 复用粗粒度层级的样本以估计细粒度层级的期望结果，从而减少所需昂贵的高保真度仿真次数。
• 在MCTS的滚动阶段应用基于MLMC的方差缩减，提升树扩展和反向传播过程中的样本效率。
• 维护一棵树结构，其中每个节点存储信念状态和动作价值估计，并通过MLMC加速的仿真进行更新。
• 通过优先选择不确定性高且潜在回报高的节点，动态平衡探索与利用，其决策受MLMC方差估计的指导。

实验结果

研究问题

• RQ1 多级蒙特卡洛能否减少在复杂机器人系统在线POMDP规划中所需的高保真度仿真次数？
• RQ2 将MLMC与MCTS结合，如何提升POMDP求解器的样本效率和收敛速度？
• RQ3 MLPP在解决方案质量和计算成本方面，相较于现有最先进在线POMDP求解器，优势程度如何？
• RQ4 所提出方法在具有非线性动力学的多样化机器人任务中是否保持鲁棒性和高性能？

主要发现

• MLPP显著减少了在POMDP规划中达到特定解决方案质量所需的昂贵高保真度仿真次数。
• 将多级蒙特卡洛与MCTS结合，可实现更快的收敛速度并提升在线规划中的样本效率。
• MLPP在四个基准任务（扭矩控制、导航、具有复杂动力学的抓取）中优于现有最先进POMDP求解器。
• 该方法在更少仿真次数下实现更优性能，展现出在长时域规划问题中的强大可扩展性和鲁棒性。