[论文解读] Learning Implicit Sampling Distributions for Motion Planning

Clark Zhang, Jinwook Huh+1 more|arXiv (Cornell University)|Jun 6, 2018

Robotic Path Planning Algorithms参考文献 16被引用 5

一句话总结

该论文提出了一种基于强化学习的方法，通过将拒绝采样建模为马尔可夫决策过程（MDP），以学习隐式采样分布，从而改进基于采样的运动规划器。该方法利用在相似环境中积累的过往规划经验，自适应地学习策略，以减少碰撞检测次数和树的扩展规模，在7自由度机械臂任务中，相比均匀采样，碰撞检测次数减少2.7倍，节点扩展数减少5倍。

ABSTRACT

Sampling-based motion planners have experienced much success due to their ability to efficiently and evenly explore the state space. However, for many tasks, it may be more efficient to not uniformly explore the state space, especially when there is prior information about its structure. Previous methods have attempted to modify the sampling distribution using hand selected heuristics that can work well for specific environments but not universally. In this paper, a policy- search based method is presented as an adaptive way to learn implicit sampling distributions for different environments. It utilizes information from past searches in similar environments to generate better distributions in novel environments, thus reducing overall computational cost. Our method can be incor- porated with a variety of sampling-based planners to improve performance. Our approach is validated on a number of tasks, including a 7DOF robot arm, showing marked improvement in number of collision checks as well as number of nodes expanded compared with baseline methods.

研究动机与目标

• 开发一种无需依赖手工设计启发式方法的自适应方法，以学习基于采样规划器中的有效采样分布。
• 通过从相似环境中的先前搜索中学习拒绝采样策略，降低运动规划中的计算成本。
• 通过学习环境感知的采样策略，提升BiRRT、RRT和PRM等现有规划器的性能。
• 实现采样策略在不同环境间的泛化能力，包括高维机器人操作任务。
• 在仿真和真实机器人系统上验证该方法，证明其在规划效率方面的一致性改进。

提出的方法

• 该方法使用拒绝采样隐式表示复杂的采样分布，其中接受/拒绝决策被建模为马尔可夫决策过程（MDP）。
• 采用策略梯度强化学习方法优化拒绝策略，以最小化规划成本指标（如碰撞检测次数和树的大小）。
• 策略在来自相似环境的过往规划数据上进行训练，从而实现无需从零开始重新训练即可迁移到新环境。
• MDP的状态表示包括距离障碍物和目标接近度等几何特征，使策略能够推理配置空间的结构。
• 该方法兼容多种基于采样的规划器（如BiRRT、RRT、PRM），可作为预处理步骤集成以提升其效率。
• 拒绝策略通过离策略强化学习端到端学习，使其能够发现诸如偏向目标区域或障碍物表面等直观启发式策略。

实验结果

研究问题

• RQ1 所学习的拒绝策略是否能在多样化的环境中优于均匀采样和手工设计的启发式方法，从而降低规划成本？
• RQ2 在相似环境中积累的过往规划经验在多大程度上可被利用，以将采样策略泛化到新的、未见过的环境中？
• RQ3 与已建立的启发式采样策略相比，所学习的策略在效率和鲁棒性方面表现如何？
• RQ4 该方法是否能有效减少高维机器人操作任务中的碰撞检测次数和树的扩展？
• RQ5 策略学习到的优先考虑的环境特征是什么？这些特征是否与直观的规划启发式一致？

主要发现

• 在7自由度机械臂任务中，所学习的采样分布使碰撞检测次数减少2.7倍，节点扩展数减少超过5倍，相比均匀采样。
• 在100次运行中，该方法实现了97%的路径规划成功率，略高于基线的96%（在相同采样限制下）。
• 策略学习到优先考虑靠近目标和障碍物的配置，这与桌面操作任务中的直观启发式一致。
• 使用所学习分布时，规划性能的方差显著降低，表明其具有更高的鲁棒性。
• 该方法在未在训练中见过的新测试环境中表现出良好的泛化能力，证明了所学习策略的可迁移性。
• 该方法成功模仿了已知的启发式策略（如目标偏向、障碍物接近性），同时发现了新的、有效的采样模式。