[论文解读] In Defense of the Direct Perception of Affordances

David F. Fouhey, Xiaolong Wang+1 more|arXiv (Cornell University)|May 5, 2015

Advanced Vision and Imaging参考文献 37被引用 10

一句话总结

本文通过提出两种基于深度学习的方法，捍卫了詹姆斯·J·吉布森关于直接知觉功能属性的理论。这些方法直接从像素数据估计功能性属性（例如可坐性、可及性），绕过中间语义或三维表示。作者表明，直接知觉在功能属性估计任务中优于间接方法，并提升了三维场景理解能力，证明了功能属性可作为有效的、任务特定的特征。

ABSTRACT

The field of functional recognition or affordance estimation from images has seen a revival in recent years. As originally proposed by Gibson, the affordances of a scene were directly perceived from the ambient light: in other words, functional properties like sittable were estimated directly from incoming pixels. Recent work, however, has taken a mediated approach in which affordances are derived by first estimating semantics or geometry and then reasoning about the affordances. In a tribute to Gibson, this paper explores his theory of affordances as originally proposed. We propose two approaches for direct perception of affordances and show that they obtain good results and can out-perform mediated approaches. We hope this paper can rekindle discussion around direct perception and its implications in the long term.

研究动机与目标

• 重新评估并捍卫詹姆斯·J·吉布森在计算视觉领域中关于直接知觉功能属性的理论。
• 开发并评估绕过语义或三维几何等中间表示的直接知觉方法。
• 证明直接功能属性预测在功能识别任务中可优于间接方法。
• 探索功能属性作为下游三维场景理解任务中特征的实用性。
• 重新激发学术界对直接知觉在视觉与机器人领域中可行性和优势的讨论。

提出的方法

• 提出一种中间层表示方法，利用学习到的特征直接从图像像素预测功能属性，无需中间语义或三维重建。
• 引入一种基于深度学习的方法，使用卷积神经网络从原始图像像素端到端预测功能属性。
• 在NYUv2和UIUC数据集上使用每个像素的功能标签（例如，就坐、可及）训练模型。
• 使用Jaccard指数和精确率-召回率曲线评估性能，比较直接方法与间接方法。
• 将预测的功能属性图用作下游任务（如三维场景布局估计和水平表面检测）的特征。
• 利用功能属性模型的置信度分数提升检测性能，表明其与几何线索具有互补增益。

实验结果

研究问题

• RQ1 能否在不依赖中间语义或三维表示的前提下，直接从图像像素中知觉到功能属性？
• RQ2 直接知觉功能属性是否优于先估计语义或三维几何的间接方法？
• RQ3 功能属性预测能否作为三维场景理解任务中的有效特征？
• RQ4 在间接处理流程中，中间表示的错误如何影响最终的功能属性预测？
• RQ5 功能属性在环境光中在多大程度上作为不变量，支持直接知觉？

主要发现

• 在UIUC数据集上，中间层直接知觉方法在‘就坐’任务中达到0.17的Jaccard指数，在‘躺卧’任务中达到0.46，性能与先前的间接方法相当或更优。
• 直接知觉方法优于间接方法，尤其在中间表示引入不可逆错误的情况下表现更优。
• 当估计中间标签时，13类的粗粒度语义表示优于40类的丰富表示，原因在于错误传播。
• 将功能属性置信度分数作为特征，使水平表面检测的平均精度（AP）相比仅使用几何特征提升了3.1%，若进一步结合则额外提升0.3%。
• 功能属性预测提供了有意义的置信度分数，支持精确率-召回率之间的权衡，而先前方法的二值掩码输出则不具备此特性。
• 结果表明，功能属性可作为几何的补充线索，增强三维场景理解，且无需依赖人类交互数据。