[论文解读] Optimizing Correlated Graspability Score and Grasp Regression for Better Grasp Prediction

Amaury Depierre, Emmanuel Dellandréa+1 more|arXiv (Cornell University)|Jan 31, 2020

Robot Manipulation and Learning参考文献 18被引用 13

一句话总结

该论文提出了一种新颖的深度学习架构，通过联合损失函数将抓取可行性评分与抓取参数回归相关联，从而提升了抓取预测的准确性。通过训练评分网络，基于视觉输入和预测的抓取参数来评估抓取质量，该方法在 Jacquard 数据集上实现了 85.74% 的准确率——比基线高出 3.61 个百分点，并在真实机器人上实现了 92.4% 的成功率，通过利用抓取质量评估的反馈来优化回归预测，优于当前最先进方法。

ABSTRACT

Grasping objects is one of the most important abilities that a robot needs to master in order to interact with its environment. Current state-of-the-art methods rely on deep neural networks trained to jointly predict a graspability score together with a regression of an offset with respect to grasp reference parameters. However, these two predictions are performed independently, which can lead to a decrease in the actual graspability score when applying the predicted offset. Therefore, in this paper, we extend a state-of-the-art neural network with a scorer that evaluates the graspability of a given position, and introduce a novel loss function which correlates regression of grasp parameters with graspability score. We show that this novel architecture improves performance from 82.13% for a state-of-the-art grasp detection network to 85.74% on Jacquard dataset. When the learned model is transferred onto a real robot, the proposed method correlating graspability and grasp regression achieves a 92.4% rate compared to 88.1% for the baseline trained without the correlation.

研究动机与目标

• 解决基于深度学习的抓取预测中抓取可行性评分与抓取参数回归相互独立的局限性。
• 通过将抓取质量评估与回归输出相关联，提升模型的泛化能力和实际应用性能。
• 通过更优的内部抓取表征，缩小模拟数据集与真实机器人应用之间的现实差距。
• 通过在基于主要抓取质量评分选择的对抗性样本上训练评分网络，增强模型鲁棒性。
• 在基准数据集和真实机器人系统上实现最先进性能，且无需复杂的主干网络架构。

提出的方法

• 引入双头神经网络：一个分支回归抓取参数（位置、角度、宽度），另一分支基于视觉输入和预测的抓取参数评估抓取可行性。
• 提出一种新颖的相关性损失函数，联合优化抓取回归与抓取可行性评分，确保预测的抓取既几何准确又实际可行。
• 使用主要抓取质量预测（PGP）分支在训练期间选择前 T 个抓取提议，这些提议随后用于在高影响、对抗性样本上训练评分网络。
• 采用 ResNet-50 主干网络，结合特征提取（FE）和抓取提议生成（PGP）分支，随后接一个输出每个预测抓取可行性分数的评分头。
• 应用数据增强和迁移学习，在 Jacquard 数据集上进行训练，并在配备多样化家用和工业物品的真实 Fanuc 机械臂上进行评估。
• 通过消融实验优化锚框尺寸和比例，发现平均锚框尺寸（91×26）性能最佳，且无需进行广泛的网格搜索。

实验结果

研究问题

• RQ1 将抓取可行性评分与抓取参数回归相关联是否能提升整体抓取预测性能？
• RQ2 在由主要质量评分选择的前 T 个抓取提议上训练评分网络，是否能带来更好的泛化能力和实际应用性能？
• RQ3 在基准数据集和真实机器人系统上，该方法与当前最先进方法相比，准确率表现如何？
• RQ4 锚框尺寸和比例对最终抓取预测准确率有何影响？
• RQ5 该架构在多大程度上缩小了模拟数据与真实世界机器人抓取之间的现实差距？

主要发现

• 所提方法在 Jacquard 数据集上达到 85.74% 的准确率，比之前最先进方法高出 1.74 个百分点。
• 与未引入评分网络的类似基线相比，该模型高出 3.61 分，证明了相关性损失和评分网络集成的有效性。
• 在包含 15 种家用物品和 10 种工业物品的真实机器人设置中，该方法实现了 92.4% 的抓取成功率，而基线为 88.1%，提升了 4.3 个百分点。
• 评分网络预测的抓取可行性分数（基于视觉输入和预测的抓取参数）比仅依赖视觉输入的主评分更准确。
• 锚框尺寸对性能影响较小，平均锚框尺寸（91×26）表现最佳（准确率 85.74%），且无需进行大量超参数调优。
• 在由主评分选择的前 T 个提议上训练评分网络，相比在所有提议上训练，收敛性更好且性能更优（82.36%），凸显了对抗性样本选择的重要性。