[论文解读] DcnnGrasp: Towards Accurate Grasp Pattern Recognition with Adaptive Regularizer Learning

Xiaoqin Zhang, Ziwei Huang+3 more|arXiv (Cornell University)|May 11, 2022

Robot Manipulation and Learning被引用 4

一句话总结

该论文提出 DcnnGrasp，一种双分支卷积神经网络，通过一种新颖的联合交叉熵自适应正则化损失函数（JCEAR）联合学习物体类别分类与抓取模式识别。通过将类别信息作为辅助任务并优化协同学习，DcnnGrasp 在 RGB-D 物体数据集上对未见过的物体实现了比第二好的方法高 15% 的全局准确率，展现出强大的泛化能力以及对缺失抓取标签的鲁棒性。

ABSTRACT

The task of grasp pattern recognition aims to derive the applicable grasp types of an object according to the visual information. Current state-of-the-art methods ignore category information of objects which is crucial for grasp pattern recognition. This paper presents a novel dual-branch convolutional neural network (DcnnGrasp) to achieve joint learning of object category classification and grasp pattern recognition. DcnnGrasp takes object category classification as an auxiliary task to improve the effectiveness of grasp pattern recognition. Meanwhile, a new loss function called joint cross-entropy with an adaptive regularizer is derived through maximizing a posterior, which significantly improves the model performance. Besides, based on the new loss function, a training strategy is proposed to maximize the collaborative learning of the two tasks. The experiment was performed on five household objects datasets including the RGB-D Object dataset, Hit-GPRec dataset, Amsterdam library of object images (ALOI), Columbia University Image Library (COIL-100), and MeganePro dataset 1. The experimental results demonstrated that the proposed method can achieve competitive performance on grasp pattern recognition with several state-of-the-art methods. Specifically, our method even outperformed the second-best one by nearly 15% in terms of global accuracy for the case of testing a novel object on the RGB-D Object dataset.

研究动机与目标

• 为解决在抓取标签稀少或模糊的情况下，对未见物体进行抓取模式识别的挑战。
• 通过将物体类别信息作为辅助信号引入抓取识别，提升模型的泛化能力。
• 开发一种训练策略，以最大化类别分类与抓取模式识别之间的协同学习。
• 增强模型对缺失或不完整抓取标注的鲁棒性，这是现实应用中的常见问题。
• 克服现有方法忽略类别级别先验信息的局限性，而人类在抓取预测中自然会使用这些先验信息。

提出的方法

• DcnnGrasp 采用双分支卷积神经网络架构，其中一个分支用于分类物体类别，另一个分支用于预测抓取类型，两者共享早期卷积特征。
• 通过最大化后验概率推导出一种新颖的损失函数——联合交叉熵自适应正则化（JCEAR），以促进两个任务的联合优化。
• 自适应正则化器根据模型不确定性动态调整类别与抓取任务之间的损失权重，从而提升训练稳定性和性能。
• 设计了一种专门的训练策略，以最大化两个任务之间的协同学习，确保类别知识能够增强抓取识别能力。
• 该方法在两个新构建的双标签数据集上进行训练，数据源自 RGB-D Object 和 Hit-GPRec，其中同时标注了类别和抓取标签。

实验结果

研究问题

• RQ1 将物体类别信息作为辅助任务是否能显著提升抓取模式识别性能，尤其是在未见物体上？
• RQ2 带有自适应正则化的联合损失函数如何增强类别分类与抓取识别之间的协同学习？
• RQ3 DcnnGrasp 在泛化到训练过程中未见过的新物体方面表现如何，特别是在尺寸或结构混淆等挑战性条件下？
• RQ4 当训练数据中抓取标签缺失或稀疏时，模型的鲁棒性如何？
• RQ5 所提出的 JCEAR 损失函数与训练策略是否能在有标签和部分标签场景下均优于现有最先进方法？

主要发现

• 在 RGB-D 物体数据集上，DcnnGrasp 在未见物体测试中实现了超过 94% 的全局准确率，比第二好的方法高出近 15%。
• 在 Hit-GPRec 数据集上，DcnnGrasp 在所有评估指标上均保持在 99% 以上，展现出对阴影等数据集特异性噪声的高鲁棒性。
• 即使每个类别仅有 1 个标注的抓取样本，DcnnGrasp 在 RGB-D 物体和 Hit-GPRec 数据集上的全局准确率仍分别达到 90% 和 95%，表明在低资源条件下具有强大的泛化能力。
• 消融实验证实，基于 JCEAR 的训练策略显著提升了性能，尤其是在处理未见物体和标签稀缺问题方面。
• DcnnGrasp 对缺失抓取标签表现出更优的鲁棒性：当不同标签比例下，CnnGrasp 的性能下降了 10–15%，而 DcnnGrasp 的性能变化小于 2%。