[论文解读] Learning Models as Functionals of Signed-Distance Fields for Manipulation Planning

Danny Driess, Jung-Su Ha+2 more|arXiv (Cornell University)|Oct 2, 2021

Robotic Path Planning Algorithms参考文献 42被引用 12

一句话总结

本文提出了一种基于优化的抓取规划框架，通过将运动学和动力学模型学习为有符号距离场（SDF）的泛函，实现了对多样化任务的高精度、几何感知规划。通过将物体表示为SDF，该方法在预测精度和规划用梯度方面优于点云或占用栅格，成功在统一框架下解决了悬挂和推动任务。

ABSTRACT

This work proposes an optimization-based manipulation planning framework where the objectives are learned functionals of signed-distance fields that represent objects in the scene. Most manipulation planning approaches rely on analytical models and carefully chosen abstractions/state-spaces to be effective. A central question is how models can be obtained from data that are not primarily accurate in their predictions, but, more importantly, enable efficient reasoning within a planning framework, while at the same time being closely coupled to perception spaces. We show that representing objects as signed-distance fields not only enables to learn and represent a variety of models with higher accuracy compared to point-cloud and occupancy measure representations, but also that SDF-based models are suitable for optimization-based planning. To demonstrate the versatility of our approach, we learn both kinematic and dynamic models to solve tasks that involve hanging mugs on hooks and pushing objects on a table. We can unify these quite different tasks within one framework, since SDFs are the common object representation. Video: https://youtu.be/ga8Wlkss7co

研究动机与目标

• 开发一种抓取规划框架，利用有学习模型作为有符号距离场（SDF）的泛函，以提升规划效率与精度。
• 通过使用SDF作为通用、可微分的物体表示，解决将模型与感知空间对齐的挑战，从而在原始传感器数据与规划约束之间建立桥梁。
• 在单一基于优化的规划框架中统一处理多样化的抓取任务，例如将水杯挂在挂钩上或推动物体。
• 证明SDF基模型在规划任务中相较于点云或占用基表示，具有更优的预测性能和更具信息量的梯度。

提出的方法

• 场景中的物体以有符号距离场（SDF）表示，编码包括内部和外部距离在内的几何信息。
• 运动学和动力学模型被学习为这些SDF的泛函，其中泛函输出决定抓取交互是否成功，或预测前向动力学。
• 轨迹优化框架将这些有学习的泛函作为约束集成，离散决策用于确定规划时域内不同阶段的活跃泛函。
• SDF通过共享的2D卷积编码器编码为200维特征向量，与查询点特征结合，并通过多层感知机（MLP）处理以预测泛函输出。
• 为处理轨迹优化中的非凸性，方法在物体周围使用四个固定初始点来初始化推杆轨迹，每个场景进行多次优化运行以选择最优解。
• 通过允许优化决定阶段数量及对应初始点，该框架支持多阶段规划，例如多阶段推动。

实验结果

研究问题

• RQ1 有学习的有符号距离场（SDF）泛函能否在统一规划框架中有效表示运动学与动力学抓取模型？
• RQ2 与点云或占用栅格相比，使用SDF作为几何表示在模型精度和规划效率方面有何差异？
• RQ3 SDF基模型能否为基于优化的规划提供比其他表示更具信息量的梯度？
• RQ4 单一框架在多大程度上能通过相同的SDF基泛函模型处理多样化抓取任务（如悬挂与推动）？
• RQ5 在复杂抓取场景中，该优化框架对非凸性和局部极小值的鲁棒性如何？

主要发现

• SDF基模型在预测精度方面优于点云和占用基模型，尤其在捕捉与抓取相关的复杂非凸几何形状方面表现更优。
• SDF表示使泛函能够生成对优化更具用处的梯度，从而提升轨迹规划中的收敛性与解的质量。
• 该框架成功规划了涉及不同形状与尺寸物体的多阶段推动任务，包括L形和方盒形物体。
• 该方法在无需微调的情况下泛化至不同物体形状与配置，通过多样化测试案例中的一致表现得到验证。
• 为推杆轨迹使用四个固定初始点显著提升了在非凸场景中收敛至可行解的能力，即使初始配置远离最优。
• 优化框架从20个候选解（4个单阶段和16个双阶段）中选择最优解，相比基线方法实现了更低的约束违反和成本。