[论文解读] Learning to Plan Optimally with Flow-based Motion Planner

Tin Lai, Fábio Ramos|arXiv (Cornell University)|Oct 21, 2020

Robotic Path Planning Algorithms参考文献 30被引用 5

一句话总结

本文提出PlannerFlows，一种基于流的运动规划方法，通过利用与问题相关的条件信息（如起始状态和目标状态）学习最优采样分布，实现高效采样。该方法借助先验专家经验，减少无效样本并加速收敛，在运行时间和解质量方面优于最先进规划器，且通过结构化的归一化流架构避免模式崩溃。

ABSTRACT

Sampling-based motion planning is the predominant paradigm in many real-world robotic applications, but its performance is immensely dependent on the quality of the samples. The majority of traditional planners are inefficient as they use uninformative sampling distributions as opposed to exploiting structures and patterns in the problem to guide better sampling strategies. Moreover, most current learning-based planners are susceptible to posterior collapse or mode collapse due to the sparsity and highly varying nature of C-Space and motion plan configurations. In this work, we introduce a conditional normalising flow based distribution learned through previous experiences to improve sampling of these methods. Our distribution can be conditioned on the current problem instance to provide an informative prior for sampling configurations within promising regions. When we train our sampler with an expert planner, the resulting distribution is often near-optimal, and the planner can find a solution faster, with less invalid samples, and less initial cost. The normalising flow based distribution uses simple invertible transformations that are very computationally efficient, and our optimisation formulation explicitly avoids mode collapse in contrast to other existing learning-based planners. Finally, we provide a formulation and theoretical foundation to efficiently sample from the distribution; and demonstrate experimentally that, by using our normalising flow based distribution, a solution can be found faster, with less samples and better overall runtime performance.

研究动机与目标

• 解决传统基于采样的运动规划方法在高维配置空间中依赖无信息均匀采样的低效问题。
• 克服因配置空间配置稀疏且多变而导致的基于学习的规划器中模式崩溃和后验崩溃问题。
• 开发一种计算高效的条件采样分布，利用先验最优路径以实现更快、更高质量的运动规划。
• 通过基于学习先验进行推理，实现在目标信息不完整情况下的探索性规划。

提出的方法

• 训练一个条件归一化流以建模采样分布 $\mathcal{Q}_{\theta}(q \mid \omega, q_{\text{init}}, q_{\text{target}})$，其中 $\omega$ 为工作空间信息，$q$ 为配置空间中的构型。
• 该流使用可逆、双射变换，计算效率高，并支持训练过程中的精确似然计算。
• 通过专家规划器提供的示范进行训练，使流能够为给定问题实例学习接近最优的采样分布。
• 条件分布通过优化基于似然的目标显式设计以避免模式崩溃，从而在采样构型中保持多样性。
• 采样在配置空间中进行，并投影到工作空间中进行可视化，碰撞检测在采样后应用以验证轨迹。
• 该框架与现有基于采样的规划器（如 RRT、RRT*）兼容，通过引入学习到的、信息丰富的采样策略加以增强。

实验结果

研究问题

• RQ1 基于流的分布若以起始和目标状态为条件，能否学会在配置空间中靠近最优轨迹的区域进行采样？
• RQ2 与均匀采样相比，所提出方法在减少无效样本和碰撞检测次数方面表现如何？
• RQ3 与其它基于学习的采样方法相比，条件归一化流在多大程度上防止了模式崩溃？
• RQ4 在目标状态未知的探索性规划任务中，学习到的分布是否仍具有效性？
• RQ5 基于流的先验是否能提升多样环境中整体规划速度和解质量？

主要发现

• PlannerFlows 在规划时间方面始终优于基线方法，达到解所需的样本数显著更少。
• 无效样本数和碰撞检测次数大幅减少，尤其在正向运动学计算昂贵的高维场景中表现更优。
• 当同时以 $q_{\text{init}}$ 和 $q_{\text{target}}$ 为条件时，基于流的分布将采样集中在最优轨迹附近，如采样构型的可视化所示。
• 即使信息不完整（如仅提供 $q_{\text{init}}$ 或仅提供 $\omega$），该分布仍具有效性，并产生优于均匀采样的高质量样本。
• 流推理带来的运行时开销低于1%，证明了其计算效率。
• 实验结果证实，基于流的分布通过基于似然的训练目标避免了模式崩溃，并保持了高样本多样性。