[论文解读] A Long Horizon Planning Framework for Manipulating Rigid Pointcloud Objects

Anthony Simeonov, Yilun Du+5 more|arXiv (Cornell University)|Nov 16, 2020

Robotic Path Planning Algorithms被引用 11

一句话总结

该论文提出了一种用于操纵刚性点云物体的长时程规划框架，无需事先拥有3D模型，通过学习子目标预测和操作原语，实现高效且可泛化的规划。通过图注意力网络直接从点云中预测可行的3D变换和接触构型，该方法缩小了规划搜索空间，并在模拟环境和YuMi机器人的真实世界实验中对未见过的物体实现了高成功率。

ABSTRACT

We present a framework for solving long-horizon planning problems involving manipulation of rigid objects that operates directly from a point-cloud observation, i.e. without prior object models. Our method plans in the space of object subgoals and frees the planner from reasoning about robot-object interaction dynamics by relying on a set of generalizable manipulation primitives. We show that for rigid bodies, this abstraction can be realized using low-level manipulation skills that maintain sticking contact with the object and represent subgoals as 3D transformations. To enable generalization to unseen objects and improve planning performance, we propose a novel way of representing subgoals for rigid-body manipulation and a graph-attention based neural network architecture for processing point-cloud inputs. We experimentally validate these choices using simulated and real-world experiments on the YuMi robot. Results demonstrate that our method can successfully manipulate new objects into target configurations requiring long-term planning. Overall, our framework realizes the best of the worlds of task-and-motion planning (TAMP) and learning-based approaches. Project website: https://anthonysimeonov.github.io/rpo-planning-framework/.

研究动机与目标

• 解决在无先前3D模型的情况下对新型未知物体进行长时程机器人操纵的挑战。
• 通过在对象子目标的抽象空间中操作而非低层次动作，减轻规划的计算负担。
• 通过学习具有偏置的子目标采样器，直接从点云观测预测可到达构型，从而提高规划效率和可行性。
• 通过端到端的感知-规划统一框架，实现对多样化物体形状和尺寸的泛化。
• 通过结合子目标抽象与数据驱动感知，弥合任务与运动规划（TAMP）与基于学习的方法之间的差距。

提出的方法

• 该框架在表示为SE(3)变换的对象子目标空间中进行规划，抽象出低层次的机器人-物体动力学。
• 它使用一组原语操作技能——拉、推和抓取-重新定向——每种技能均建模为保持与物体粘附接触的基于接触的动作。
• 图注意力神经网络处理原始点云输入，以预测每种技能的子目标和接触位姿，实现在无物体模型情况下的感知-动作映射。
• 子目标被预测为物体必须达到的3D变换，假设在执行过程中机器人始终保持粘附接触。
• 该方法联合预测子目标和初始接触构型，从而支持逆运动学生成低层次控制器。
• 规划以迭代方式进行，将前一技能预测的子目标作为下一技能的输入，形成多步规划。

实验结果

研究问题

• RQ1 基于学习的子目标预测的规划框架能否在无先前3D模型的情况下泛化到未见过的刚性物体？
• RQ2 在长时程操纵任务中，如何使子目标预测既高效又可行？
• RQ3 与启发式采样相比，学习具有偏置的子目标采样器在多大程度上提升了规划效率？
• RQ4 该框架在具有噪声传感器数据的双臂机器人上的真实世界执行中表现如何？
• RQ5 开环执行中的主要失败模式是什么，如何加以缓解？

主要发现

• 学习到的采样器在成功规划中平均仅需37.6次采样迭代，显著低于人工设计基线所需的70.7次迭代，表明可行性偏置得到显著改善。
• 在失败尝试中，两种方法所需的采样工作量相近（137.7 vs. 130.1），证实性能提升源于更优的可行性预测，而非搜索空间的缩小。
• 该框架在模拟环境和使用YuMi机器人的真实世界实验中，成功将新型物体操纵至目标构型。
• 失败模式主要源于预测手掌位姿或子目标变换的微小误差，导致物体滑动或过度穿插，从而引发执行过程中的不稳定性。
• 该方法通过仅依赖点云观测而无需先前物体模型，展示了对未见物体的强大泛化能力。
• 实际实现中，腕部柔顺性与力矩-力传感器的使用可有效处理执行误差，并在技能执行期间强制保持粘附接触。