[论文解读] Deep Grasp: Detection and Localization of Grasps with Deep Neural Networks.

Fu-Jen Chu, Ruinian Xu+1 more|arXiv (Cornell University)|Feb 1, 2018

Robot Manipulation and Learning参考文献 26被引用 34

一句话总结

本文提出 Deep Grasp，一种深度神经网络，通过使用 RGB-D 图像检测并定位单个或多个新物体上的抓取点。通过将抓取回归问题重新表述为带有零假设竞争的分类问题，其在 Cornell 数据集上的图像划分和物体划分下分别实现了 96.0% 和 96.1% 的准确率，优于现有最先进方法，在包含无物体或多物体的复杂真实场景中表现优异。

ABSTRACT

A deep learning architecture is proposed to predict graspable locations for robotic manipulation. We consider a more realistic situation that none or multiple objects can be in a scene. By transforming grasp configuration regression into classification problem with null hypothesis competition, the deep neural network with RGB-D image input predicts multiple grasp candidates on a single unseen object, as well as predict grasp candidates on multiple novel objects in a single shot. We perform extensive experiments with our framework on different scenarios, including no object, single object, and multi-objects. We compare with state-of-the-art approaches on Cornell dataset, and show we can achieve 96.0\% and 96.1\% accuracy on image-wise split and object-wise split, respectively.

研究动机与目标

• 解决在真实机器人操作场景中检测可抓取位置的挑战，其中场景可能不包含物体或包含多个新物体。
• 提升在未结构化环境中抓取检测的鲁棒性和泛化能力，其中物体在训练期间未被见过。
• 开发一种单次推理框架，能够在无需事先进行物体分割或实例级标注的情况下，为每个场景预测多个抓取候选。
• 在标准基准（如 Cornell 数据集）上，于图像划分和物体划分评估划分下，超越现有最先进方法。

提出的方法

• 通过离散化抓取空间并引入 '无抓取' 的零假设，将抓取配置回归任务转化为分类问题，以处理无物体的场景。
• 采用带有 RGB-D 输入的深度卷积神经网络（CNN），在单次前向传播中预测多个物体上的抓取候选，包括抓取位置、角度和宽度。
• 使用结合交叉熵损失（用于抓取类别预测）和回归损失（用于边界框优化）的损失函数，实现端到端训练。
• 应用非极大值抑制和置信度阈值筛选，以去除冗余的抓取预测并选择最高质量的候选。
• 利用数据增强和合成数据生成技术，提升对训练期间未见过的新物体的泛化能力。
• 引入多尺度特征提取模块，以增强空间理解能力，提高对小物体或杂乱物体的定位精度。

实验结果

研究问题

• RQ1 深度学习模型是否能在单次推理中有效检测并定位单个或多个新物体上的多个抓取候选？
• RQ2 所提出的零假设竞争机制在无物体或物体配置模糊的场景中，如何提升抓取检测性能？
• RQ3 与先前最先进方法相比，该方法在标准基准上对未见物体的泛化程度如何？
• RQ4 使用 RGB-D 输入对复杂杂乱场景中的抓取检测准确率和鲁棒性有何影响？
• RQ5 模型在图像划分和物体划分评估划分下的表现如何，反映出其在不同测试协议下的泛化能力和可靠性？

主要发现

• 所提出的 Deep Grasp 框架在 Cornell 数据集的图像划分下达到 96.0% 的准确率，表明其在标准基准评估中表现强劲。
• 在物体划分下达到 96.1% 的准确率，表明其对训练期间未见的新物体具有强大的泛化能力。
• 该模型在多物体场景中成功检测到多个抓取候选，且无需实例级分割即可保持高精度和高召回率。
• 引入 '无抓取' 的零假设显著提升了无物体场景下的性能，减少了误报。
• 由于数据增强与网络架构学习 RGB-D 输入中空间和几何特征的能力相结合，该方法对未见物体具有良好的泛化能力。
• 与先前方法相比，该框架在性能上达到最先进水平，尤其在多物体和无物体等挑战性场景中表现突出。