[论文解读] Grasp-type Recognition Leveraging Object Affordance

Naoki Wake, Kazuhiro Sasabuchi+1 more|arXiv (Cornell University)|Aug 26, 2020

Robot Manipulation and Learning参考文献 18被引用 8

一句话总结

本文提出了一种混合方法，通过将卷积神经网络（CNN）与基于语言输入（物体名称）的特定物体抓握功能（grasp affordances）相结合，从单张RGB图像中进行抓握类型识别。通过利用每类物体可能抓握类型的先验知识，该方法在识别准确率上超越了仅使用CNN或仅使用功能的基线模型，展示了在机器人教学场景中语言驱动功能建模的价值。

ABSTRACT

A key challenge in robot teaching is grasp-type recognition with a single RGB image and a target object name. Here, we propose a simple yet effective pipeline to enhance learning-based recognition by leveraging a prior distribution of grasp types for each object. In the pipeline, a convolutional neural network (CNN) recognizes the grasp type from an RGB image. The recognition result is further corrected using the prior distribution (i.e., affordance), which is associated with the target object name. Experimental results showed that the proposed method outperforms both a CNN-only and an affordance-only method. The results highlight the effectiveness of linguistically-driven object affordance for enhancing grasp-type recognition in robot teaching.

研究动机与目标

• 解决在仅使用单张RGB图像和物体名称的机器人教学中抓握类型识别的挑战。
• 在纯深度学习或先验知识单独使用的基础上进一步提升识别准确率。
• 将语言输入（物体名称）与视觉特征相结合，以建模物体的抓握功能。
• 开发一种适用于现实世界机器人教学应用的实用流程。

提出的方法

• CNN处理RGB图像以预测初始抓握类型。
• 基于对每类物体常见抓握类型的先验知识，预先计算特定物体的抓握功能。
• 利用与目标物体名称相关联的抓握类型学习先验分布，对CNN的预测进行优化。
• 视觉特征与语言驱动的功能先验的融合，提升了最终的抓握类型分类性能。
• 该方法在包含对应物体名称和抓握标注的RGB图像数据集上进行训练和评估。
• 与仅使用CNN和仅使用功能的基线模型进行对比，以验证其有效性。

实验结果

研究问题

• RQ1 将深度学习与特定物体的抓握功能相结合，能否提升抓握类型识别的准确率？
• RQ2 语言输入（物体名称）在优化CNN对抓握类型的预测方面有多有效？
• RQ3 与仅依赖视觉特征相比，整合对可能抓握类型的先验知识是否能减少识别错误？
• RQ4 在真实世界的机器人教学场景中，使用功能先验能带来多大的性能提升？

主要发现

• 所提出的方法在抓握类型识别准确率上优于仅使用CNN和仅使用功能的基线模型。
• 特定物体功能的整合显著提升了识别性能，尤其在罕见或模糊的抓握类型上表现更优。
• 基于语言的功能建模有效减少了预测误差，通过利用物体与手部交互的先验知识。
• 该方法在仅需最少输入（RGB图像 + 物体名称）的真实世界机器人教学环境中表现出鲁棒性和实用性。