[论文解读] Planning with Spatial-Temporal Abstraction from Point Clouds for Deformable Object Manipulation

Xingyu Lin, Carl Qi+6 more|arXiv (Cornell University)|Oct 27, 2022

Robotic Path Planning Algorithms被引用 9

一句话总结

该论文提出PASTA，一种用于长时程可变形物体操作的规划框架，通过3D点云实现空间与时间抽象的统一。它将点云编码为潜在集合表示，在此抽象基础上规划技能序列，并在真实世界中成功完成复杂多工具任务（如切割、推动和滚动面团），优于平面表示方法，在仿真到现实的迁移中表现与人类相当。

ABSTRACT

Effective planning of long-horizon deformable object manipulation requires suitable abstractions at both the spatial and temporal levels. Previous methods typically either focus on short-horizon tasks or make strong assumptions that full-state information is available, which prevents their use on deformable objects. In this paper, we propose PlAnning with Spatial-Temporal Abstraction (PASTA), which incorporates both spatial abstraction (reasoning about objects and their relations to each other) and temporal abstraction (reasoning over skills instead of low-level actions). Our framework maps high-dimension 3D observations such as point clouds into a set of latent vectors and plans over skill sequences on top of the latent set representation. We show that our method can effectively perform challenging sequential deformable object manipulation tasks in the real world, which require combining multiple tool-use skills such as cutting with a knife, pushing with a pusher, and spreading the dough with a roller.

研究动机与目标

• 解决在缺乏完整状态信息的情况下，长时程、多工具可变形物体操作的挑战。
• 统一空间抽象（对物体部件及关系进行推理）与时间抽象（在技能层面而非低级动作层面进行规划）。
• 实现对训练中未见的更多实体和更长序列的新任务的泛化能力。
• 开发一种能有效从仿真环境迁移到真实世界环境的规划器，配合启发式控制器。

提出的方法

• 该框架使用点云编码器将3D观测映射为一组潜在向量，形成组合式3D集合表示。
• 通过无监督方法动态将点云点聚类为物体部件，并利用变分自编码器将每个聚类嵌入为潜在向量。
• 在潜在空间中使用可微分规划器规划技能序列，通过采样子目标并利用学习到的预测器评估可行性与成本。
• 可行性与成本预测器通过对比学习结合难负样本挖掘进行训练，以提升规划准确性。
• 规划器使用基于梯度的优化方法在潜在空间中优化技能序列与子目标。
• 系统在仿真环境中训练，并通过启发式控制器迁移到真实世界，无需策略微调。

实验结果

研究问题

• RQ1 一个统一结合空间与时间抽象的框架是否能有效支持长时程可变形物体操作的规划？
• RQ2 通过3D集合表示实现的空间抽象相较于平面3D表示，在泛化能力与性能方面有何提升？
• RQ3 在仿真中训练的规划器在配合启发式控制器时，能在多大程度上泛化到真实世界执行？
• RQ4 关键组件如难负样本挖掘与基于梯度的规划对整体成功率有何影响？

主要发现

• 在仿真环境中，PASTA在CutRearrange任务上达到83.7%的成功率，显著优于使用平面3D表示的基线方法。
• 在真实世界实验中，PASTA在CutRearrange任务上与人类表现相当（归一化提升0.910），并在同一任务上优于Flat3D基线方法（提升0.351）。
• 消融实验表明，若移除难负样本挖掘，成功率降低一半，证明其在训练可行性预测器中的关键作用。
• 移除梯度下降或采样机制的规划器性能显著下降，证实两者在优化过程中的重要性。
• PASTA在仿真中成功执行了6个技能的序列（CRS-Twice），并在真实世界中实现了79.5%的归一化提升，证明其在更长时程任务上的泛化能力。
• 该框架仅通过规划器与启发式控制器，即实现了复杂多工具任务的仿真到现实迁移，无需策略适应。