[论文解读] SGDN: Segmentation-Based Grasp Detection Network For Unsymmetrical Three-Finger Gripper

Dexin Wang|arXiv (Cornell University)|May 17, 2020

Robot Manipulation and Learning参考文献 28被引用 6

一句话总结

该论文提出SGDN，一种基于单阶段分割的深度学习网络，用于使用RGB图像检测像素级抓取，特别针对非对称三指夹爪设计。它引入了一种定向基固定三角形抓取表示方法，以一致的角度和宽度建模抓取区域，在重新标注的康奈尔抓取数据集的图像划分上达到96.8%的准确率，在物体划分上达到92.27%。

ABSTRACT

In this paper, we present Segmentation-Based Grasp Detection Network (SGDN) to predict a feasible robotic grasping for a unsymmetrical three-finger robotic gripper using RGB images. The feasible grasping of a target should be a collection of grasp regions with the same grasp angle and width. In other words, a simplified planar grasp representation should be pixel-level rather than region-level such as five-dimensional grasp representation.Therefore, we propose a pixel-level grasp representation, oriented base-fixed triangle. It is also more suitable for unsymmetrical three-finger gripper which cannot grasp symmetrically when grasping some objects, the grasp angle is at [0, 2π) instead of [0, π) of parallel plate gripper.In order to predict the appropriate grasp region and its corresponding grasp angle and width in the RGB image, SGDN uses DeepLabv3+ as a feature extractor, and uses a three-channel grasp predictor to predict feasible oriented base-fixed triangle grasp representation of each pixel.On the re-annotated Cornell Grasp Dataset, our model achieves an accuracy of 96.8% and 92.27% on image-wise split and object-wise split respectively, and obtains accurate predictions consistent with the state-of-the-art methods.

研究动机与目标

• 解决现有抓取检测方法依赖五维矩形表示法的局限性，该方法不适用于非对称三指夹爪。
• 开发一种像素级抓取表示方法，更真实地反映人类抓取行为，即人类抓取特定区域而非抽象配置。
• 设计一种深度学习框架，直接预测具有角度和宽度的可行抓取区域，提升与最先进方法的一致性和准确性。
• 在存在遮挡的复杂多物体场景中实现鲁棒的抓取检测，包括未见过的物体类别。
• 通过在抓取检测中引入语义分割原理，提升模型在真实机器人抓取任务中的泛化能力和性能。

提出的方法

• 提出一种定向基固定三角形抓取表示作为像素级抓取模型，其中每个像素预测一个具有固定角度和宽度的抓取，适用于非对称三指夹爪。
• 采用DeepLabv3+作为主干特征提取器，以从RGB图像中捕获多尺度上下文特征。
• 设计一个三通道抓取预测头，同时为每个像素预测抓取角度、宽度和置信度分数。
• 使用新的定向基固定三角形表示法对康奈尔抓取数据集进行像素级重新标注，用于模型的训练与评估。
• 采用分割风格损失函数训练网络，以优化像素级抓取预测，实现端到端学习。
• 在置信度图上应用非极大值抑制，生成多抓取预测，仅保留置信度大于0.5的预测结果。

实验结果

研究问题

• RQ1 与传统的五维矩形表示法相比，像素级抓取表示是否能更好地建模真实世界的抓取行为？
• RQ2 基于分割的深度学习方法在仅使用RGB图像的情况下，检测非对称三指夹爪可行抓取区域的效率如何？
• RQ3 与现有方法相比，所提出的定向基固定三角形表示在标准基准测试中能将抓取检测准确率提升多少？
• RQ4 该模型在存在物体遮挡和未见过的物体类别的复杂真实场景中泛化能力如何？
• RQ5 模型的主要失败模式是什么？它们与角度和宽度估计中的标签不完整或预测抽象化有何关联？

主要发现

• SGDN在重新标注的康奈尔抓取数据集的图像划分上达到96.8%的抓取检测准确率，在物体划分上达到92.27%。
• 该模型能够成功检测每个物体的多个可行抓取，可视化结果中预测的抓取区域几乎覆盖所有标注的抓取区域。
• 尽管存在遮挡和未见过的物体类别（如书写刷、耳机盒），SGDN在复杂多物体场景中仍表现出良好的泛化能力并保持强劲性能。
• 错误检测主要源于抓取角度或宽度预测错误，即使抓取点坐标正确，表明在角度和宽度回归方面存在局限性。
• 该模型在实时生成式抓取流程中表现出可行性与鲁棒性，其预测可直接映射到真实机器人执行。
• 采用基于语义分割的预测方法，相比传统的基于回归的五维抓取检测方法，结果更准确且更一致。