[论文解读] Learning 6-DoF Fine-grained Grasp Detection Based on Part Affordance Grounding

Yaoxian Song, Penglei Sun+8 more|arXiv (Cornell University)|Jan 27, 2023

Robot Manipulation and Learning被引用 4

一句话总结

本文提出 Lang-SHAPE，一个大规模的、基于语言引导的 3D 形状抓取数据集，包含部件级别的功能标注，以及 PIONEER，一种两阶段的 6-DoF 抓取检测网络，可将自然语言查询定位到 3D 部件以实现精细的机器人抓取。该方法在部件感知抓取任务中达到 42.07% 的成功率，在部件特定设置中达到 52.58%，在关键指标上优于基线模型超过 20%，证明了其强大的泛化能力和真实场景下的有效性。

ABSTRACT

Robotic grasping is a fundamental ability for a robot to interact with the environment. Current methods focus on how to obtain a stable and reliable grasping pose in object level, while little work has been studied on part (shape)-wise grasping which is related to fine-grained grasping and robotic affordance. Parts can be seen as atomic elements to compose an object, which contains rich semantic knowledge and a strong correlation with affordance. However, lacking a large part-wise 3D robotic dataset limits the development of part representation learning and downstream applications. In this paper, we propose a new large Language-guided SHape grAsPing datasEt (named LangSHAPE) to promote 3D part-level affordance and grasping ability learning. From the perspective of robotic cognition, we design a two-stage fine-grained robotic grasping framework (named LangPartGPD), including a novel 3D part language grounding model and a part-aware grasp pose detection model, in which explicit language input from human or large language models (LLMs) could guide a robot to generate part-level 6-DoF grasping pose with textual explanation. Our method combines the advantages of human-robot collaboration and LLMs' planning ability using explicit language as a symbolic intermediate. To evaluate the effectiveness of our proposed method, we perform 3D part grounding and fine-grained grasp detection experiments on both simulation and physical robot settings, following language instructions across different degrees of textual complexity. Results show our method achieves competitive performance in 3D geometry fine-grained grounding, object affordance inference, and 3D part-aware grasping tasks. Our dataset and code are available on our project website https://sites.google.com/view/lang-shape

研究动机与目标

• 解决缺乏大规模、部件级别的 3D 机器人抓取数据集的问题，这些数据集整合了功能信息和人类语言指令。
• 通过将自然语言查询定位到特定 3D 物体部件，实现对功能理解的改进，从而支持精细的机器人抓取。
• 开发一种新颖的 6-DoF 抓取检测模型，将 3D 部件语言定位与部件感知抓取姿态预测相结合。
• 通过物理机器人系统在组合泛化和真实世界部署方面评估模型性能。
• 通过预训练语言模型和 3D 场景理解，弥合高层人类语言意图与低层机器人控制之间的差距。

提出的方法

• 提出 Lang-SHAPE，一个大规模 3D 数据集，包含 185 万个语言指代表达、35 种部件类别，以及 300 多种物体的 6-DoF 抓取标注。
• 设计一种两阶段网络：第一阶段为 3D 部件语言定位模型，用于在点云中定位语言所描述的部件；第二阶段为基于 PointNetGPD 的部件感知抓取检测头。
• 引入一种视觉伺服眼在手扫描策略，以捕获多视角点云，实现完整的物体表征。
• 使用预训练语言模型编码指代表达，并通过对比学习将它们与 3D 部件特征对齐。
• 应用由语言定位引导的区域约束采样策略，以提升抓取质量并减少失败案例。
• 在真实机器人（Kinova Jaco 7-DoF）上部署模型，配备眼在手相机，实现真实世界推理与抓取。

实验结果

研究问题

• RQ1 基于自然语言定位的 3D 部件感知抓取检测模型是否能在精细抓取任务中实现高成功率？
• RQ2 该模型在未见的物体-部件组合和组合式语言查询上的泛化能力如何？
• RQ3 与基于物体的基线模型相比，语言定位在多大程度上提升了功能推断和抓取可靠性？
• RQ4 该方法在人机交互的真实机器人操作中是否有效？
• RQ5 预训练语言模型的集成是否增强了 3D 抓取中的零样本或少样本泛化能力？

主要发现

• PIONEER 在 Lang-SHAPE 数据集上的部件级抓取检测任务中达到 42.07% 的成功率，比基线模型（Baseline 3）高出 16.96 个百分点。
• 在部件特定语言模式下，成功率提升至 52.58%，表明显式的人-部件定位具有显著优势。
• 模型展现出强大的组合泛化能力，在未见的物体-部件组合上性能提升，表明对分布偏移具有鲁棒性。
• 真实机器人实验验证了该方法在真实场景下的有效性，成功在已见和未见物体上执行了语言引导抓取。
• 由于区域约束，试验成本略有上升，但成功率的提升使其具有合理权衡。
• 模型实现了 48.76% 的部件无关成功率和 15.53 次平均采样试验，表明在准确率与效率之间取得了良好平衡。