[论文解读] Learning to Act Properly: Predicting and Explaining Affordances from Images

Ching-Yao Chuang, Jiaman Li+2 more|arXiv (Cornell University)|Dec 20, 2017

Multimodal Machine Learning Applications参考文献 29被引用 8

一句话总结

本文提出一种基于图神经网络（GNN）的模型，用于从图像中预测动作-对象功能，包括物理和社交层面的例外情况，并提供解释和后果分析。该研究构建了 ADE-Affordance 数据集，并证明通过 GNN 进行上下文推理可显著提升功能预测性能，优于基线方法，尤其在处理场景依赖性约束方面表现更优。

ABSTRACT

We address the problem of affordance reasoning in diverse scenes that appear in the real world. Affordances relate the agent's actions to their effects when taken on the surrounding objects. In our work, we take the egocentric view of the scene, and aim to reason about action-object affordances that respect both the physical world as well as the social norms imposed by the society. We also aim to teach artificial agents why some actions should not be taken in certain situations, and what would likely happen if these actions would be taken. We collect a new dataset that builds upon ADE20k, referred to as ADE-Affordance, which contains annotations enabling such rich visual reasoning. We propose a model that exploits Graph Neural Networks to propagate contextual information from the scene in order to perform detailed affordance reasoning about each object. Our model is showcased through various ablation studies, pointing to successes and challenges in this complex task.

研究动机与目标

• 使人工智能代理能够基于物理和社交约束，在真实场景中推理哪些动作在特定物体上是安全且合适的。
• 收集并标注一个新数据集（ADE-Affordance），以捕捉场景依赖的功能例外情况，包括原因和后果。
• 开发一种模型，能够预测功能，解释为何某些动作不适当，并基于视觉和上下文线索预测可能的结果。
• 评估全局上下文、物体特征和空间关系在视觉推理中对功能预测的重要性。

提出的方法

• 模型使用从实例级语义分割构建的场景图，其中节点表示物体，边编码空间邻接关系。
• 图神经网络（GNN）通过聚合邻居节点的消息来传播和更新节点表示，从而捕捉上下文关系。
• 物体特征使用 ResNet 特征编码，全局图像特征用于增强节点表示。
• 最终的预测头使用基于 RNN 的语言模型生成功能标签、自然语言解释和预测后果。
• 采用多任务学习联合预测功能、解释和后果，通过在不同任务间共享 GNN 参数来提升效率。
• 消融研究评估了全局上下文、物体类别和物体特征的贡献，同时对 GNN 传播步数进行调优以获得最佳性能。

实验结果

研究问题

• RQ1 如何在视觉推理中建模功能的场景依赖性例外，例如物理上不可能或社交上不适当的情况？
• RQ2 与局部物体特征相比，全局图像上下文在预测功能方面起到什么作用？
• RQ3 统一的 GNN 架构能否在高性能下联合预测功能、解释和后果？
• RQ4 物体之间的空间关系如何影响功能预测的准确性？
• RQ5 在 GNN 中，有效视觉推理的最优消息传递步数是多少？

主要发现

• Spatial GGNN 模型在 'sit' 动作的关系预测上达到 0.745 的平均准确率，优于单变量基线模型。
• 移除全局图像特征会显著降低单变量模型的性能，但对 GNN 的影响较小，表明 GNN 更好地利用了局部上下文。
• 物体类别信息是最关键的输入，因为移除它会导致性能最大降幅，凸显其在功能推理中的重要性。
• GNN 的传播步数在 T=3 时达到饱和，表明更深的消息传递无法进一步提升性能。
• 采用共享 GGNN 参数的多任务学习性能与独立模型相当，证明了跨任务参数共享的可行性。
• 即使实例分割存在不完美，模型在完整视觉推理任务上仍能达到合理性能，表明对分割误差具有鲁棒性。