[论文解读] Detecting Robotic Affordances on Novel Objects with Regional Attention and Attributes.

Fu-Jen Chu, Ruinian Xu+1 more|arXiv (Cornell University)|Sep 12, 2019

Image Processing Techniques and Applications被引用 5

一句话总结

本文提出了一种类别无关的框架，通过区域注意力和属性预测来检测新物体类别上的机器人功能。通过将区域提议网络与自注意力机制及辅助属性推理任务相结合，该模型在未见物体上的功能分割任务中实现了最先进性能，显著提升了对类别先验的泛化能力。

ABSTRACT

This paper presents a framework for predicting affordances of object parts of unseen categories, with application to robot manipulation. The framework generates affordance maps of novel objects within an image via region-based affordance segmentation. Earlier work used category priors while jointly optimizing detection and segmentation to boost accuracy with limited ability to generalize to unknown categories. This work integrates a category-agnostic region proposal network for proposing instance regions of an image across categories. A self-attention mechanism trained to interpret each proposal learns to capture rich contextual dependencies through the region. To further guide affordance learning in the absence of category priors, an auxiliary task of object attribute inference improves local feature learning. Experimental results show that the trained deep network architecture achieves state-of-the-art performance on affordance segmentation of novel objects and outperforms several baselines. An ablation study quantifies the effectiveness and contributions of each proposed component. Experiments demonstrate the use of affordance detection on novel objects for vision tasks and for manipulation.

研究动机与目标

• 使机器人系统能够检测在训练期间未见过的新物体类别上的功能。
• 克服先前方法依赖类别先验进行功能预测的局限性。
• 通过在区域提议上应用自注意力机制捕捉上下文依赖关系，提升功能分割的泛化能力。
• 通过引入辅助属性推理任务，在无类别标签的情况下增强局部特征学习。

提出的方法

• 使用类别无关的区域提议网络，在所有类别上生成物体实例区域，且不依赖于类别标签。
• 对每个区域提议应用自注意力机制，以捕捉区域内丰富的上下文依赖关系。
• 引入预测物体属性（如形状、材质）的辅助任务，以在不依赖类别先验的情况下引导局部特征学习。
• 通过多任务学习目标，联合优化功能分割与属性预测。
• 通过注意力机制对区域特征进行优化，以提升功能区域的空间定位能力。
• 该框架在带有功能图和属性标注的图像上端到端进行训练，实现对新类别的零样本泛化。

实验结果

研究问题

• RQ1 基于区域的方法结合自注意力机制，是否能在不依赖类别先验的情况下提升对新物体类别的功能分割性能？
• RQ2 辅助属性预测在增强功能检测的局部特征学习方面有多有效？
• RQ3 区域注意力与属性学习的整合在多大程度上提升了对未见物体类别的泛化能力？
• RQ4 该框架的各个组成部分在功能分割整体性能中分别起到了什么贡献？

主要发现

• 所提出的框架在新物体类别上的功能分割任务中实现了最先进性能，优于多个强基线模型。
• 消融实验证实，区域注意力和属性预测均显著提升了分割精度。
• 该模型展现出强大的零样本泛化能力，能有效检测未见类别物体上的功能。
• 在区域提议中引入自注意力机制，实现了更好的上下文建模，并提升了功能区域的定位能力。
• 辅助属性预测任务增强了特征表示，尤其在结构模糊或复杂的区域表现更优。
• 实验结果表明，该方法在多个基准数据集上均实现了稳定提升，验证了多任务学习策略的有效性。