[论文解读] CaTGrasp: Learning Category-Level Task-Relevant Grasping in Clutter from Simulation

Bowen Wen, Wenzhao Lian+2 more|arXiv (Cornell University)|Sep 19, 2021

Robot Manipulation and Learning被引用 4

一句话总结

CaTGrasp 提出了一种仅在仿真环境中运行的框架，用于在密集杂乱环境下学习类别级别的、与任务相关的抓取策略。该方法引入了一种新型的非均匀归一化物体坐标空间（NUNOCS），以实现跨不同物体实例的密集三维对应关系，并促进与任务相关的抓取知识的迁移。在真实世界测试中，该方法实现了93.3%的任务相关抓取成功率，显著优于基线方法，且无需进行真实世界的微调。

ABSTRACT

Task-relevant grasping is critical for industrial assembly, where downstream manipulation tasks constrain the set of valid grasps. Learning how to perform this task, however, is challenging, since task-relevant grasp labels are hard to define and annotate. There is also yet no consensus on proper representations for modeling or off-the-shelf tools for performing task-relevant grasps. This work proposes a framework to learn task-relevant grasping for industrial objects without the need of time-consuming real-world data collection or manual annotation. To achieve this, the entire framework is trained solely in simulation, including supervised training with synthetic label generation and self-supervised, hand-object interaction. In the context of this framework, this paper proposes a novel, object-centric canonical representation at the category level, which allows establishing dense correspondence across object instances and transferring task-relevant grasps to novel instances. Extensive experiments on task-relevant grasping of densely-cluttered industrial objects are conducted in both simulation and real-world setups, demonstrating the effectiveness of the proposed framework. Code and data are available at https://sites.google.com/view/catgrasp.

研究动机与目标

• 解决在密集杂乱环境中对工业物体进行任务相关抓取学习的挑战，而无需人工标注或真实世界数据采集。
• 实现对形状和尺寸存在差异的新颖、未见过的物体实例的泛化能力。
• 在不依赖稀疏关键点标注的情况下，对3D形状建模密集的、逐点的任务相关性。
• 开发一种规范化的、以物体为中心的表示方法，以支持类别级别实例之间的可靠密集对应关系。
• 在仿真环境中端到端训练整个框架，并直接部署到真实世界中，无需微调。

提出的方法

• 提出 NUNOCS，一种非均匀缩放的规范坐标空间，可在具有大形状差异的3D物体实例之间实现细粒度的密集对应关系。
• 利用仿真环境中的自监督手-物体交互，生成指示下游任务执行成功可能性的密集、与任务相关的接触热力图。
• 采用混合抓取提议机制，结合学习得到的抓取码本与通过 NUNOCS 实现的类别级别知识迁移，以提升覆盖范围和稳定性。
• 采用监督训练，使用仿真生成的合成标签，包括几何稳定性与任务相关性信号。
• 在仿真环境中通过结合监督与自监督目标，端到端训练整个系统，以学习类别级别的先验知识。
• 将学习到的抓取策略直接迁移到真实世界中的新物体实例，无需重新训练或获取3D模型。

实验结果

研究问题

• RQ1 是否可以在无需人工标注标签或真实世界数据采集的情况下，在仿真环境中有效学习任务相关的抓取？
• RQ2 规范化的3D表示是否能够实现同一类别内多样化物体实例之间可靠的密集对应关系？
• RQ3 在复杂杂乱场景中，建模密集的、逐点的任务相关性是否优于基于稀疏关键点的方法？
• RQ4 在仿真中训练的策略是否能够泛化到具有未见尺寸和形状变化的真实世界新物体实例？
• RQ5 与标准 NOCS 相比，所提出的 NUNOCS 表示在促进与任务相关的抓取知识迁移方面表现如何？

主要发现

• 所提方法在真实世界测试中实现了93.3%的任务相关抓取成功率，显著优于所有基线方法，包括 PointNetGPD 和 Ours-NA。
• 在仿真环境中，该方法实现了94.5%的任务相关抓取成功率，表明从合成数据到真实世界部署具有强大的泛化能力。
• NUNOCS 表示在知识迁移方面优于标准 NOCS，尤其在高度多变的物体（如 HMN2）上表现更优，性能差距最为显著。
• 该方法在保持强任务相关性的同时，实现了83.3%的稳定抓取成功率，表明通过抓取码本有效覆盖了遮挡区域和复杂区域。
• 在 Screw 类别中，仿真与真实世界之间的性能差距最小，尽管由于微小、反光且易滚动的物体带来的挑战，差距仍较明显。
• 消融实验表明，密集接触热力图和 NUNOCS 表示对实现高任务相关性至关重要，因为 Ours-NOCS 和 Ours-NA 的成功率显著更低。