[论文解读] Attention over learned object embeddings enables complex visual reasoning

Xin Ding, Felix Hill+3 more|arXiv (Cornell University)|Dec 15, 2020

Multimodal Machine Learning Applications被引用 12

一句话总结

该论文提出Aloe模型，一种神经网络架构，通过结合对学习到的物体嵌入的自注意力机制与自监督动力学学习，实现了在复杂视觉推理任务上的最先进性能。该模型在CLEVRER、CATER和ACRE三个基准领域中，均优于模块化神经符号系统与先前的神经网络模型，表明端到端学习结合软归纳偏置，可在无需针对特定任务进行修改的情况下，达到或超越专用架构的性能。

ABSTRACT

Neural networks have achieved success in a wide array of perceptual tasks but often fail at tasks involving both perception and higher-level reasoning. On these more challenging tasks, bespoke approaches (such as modular symbolic components, independent dynamics models or semantic parsers) targeted towards that specific type of task have typically performed better. The downside to these targeted approaches, however, is that they can be more brittle than general-purpose neural networks, requiring significant modification or even redesign according to the particular task at hand. Here, we propose a more general neural-network-based approach to dynamic visual reasoning problems that obtains state-of-the-art performance on three different domains, in each case outperforming bespoke modular approaches tailored specifically to the task. Our method relies on learned object-centric representations, self-attention and self-supervised dynamics learning, and all three elements together are required for strong performance to emerge. The success of this combination suggests that there may be no need to trade off flexibility for performance on problems involving spatio-temporal or causal-style reasoning. With the right soft biases and learning objectives in a neural network we may be able to attain the best of both worlds.

研究动机与目标

• 解决纯神经网络在推理视觉场景中时空与因果动态方面的局限性。
• 克服模块化、任务特定的神经符号系统在面对新任务时需要重新设计的脆弱性。
• 开发一种通用的、端到端的神经网络方法，能够从像素输入中实现可解释性、预测性与反事实推理。
• 探究基于物体中心表示的自注意力机制与自监督学习是否能够在无需符号组件的情况下实现强大推理能力。
• 证明统一架构可在多样化的推理领域中超越任务特定模型的性能。

提出的方法

• 该模型使用对视频帧的可学习物体中心表示，提取对应于物理对象的离散实体。
• 在时间维度上对这些物体嵌入应用多头自注意力机制，以整合并推理动态交互。
• 通过自监督辅助损失掩码并预测物体状态，以促进对有意义动力学与表示的发现。
• 该架构在像素输入上进行端到端训练，无需任务特定模块或手工编码的符号逻辑。
• 物体嵌入通过无监督实例分割头生成，避免依赖监督物体检测。
• 模型联合优化推理准确率与物体状态的掩码重建，以促进内部动力学建模的鲁棒性。

实验结果

研究问题

• RQ1 统一的神经网络架构是否能在复杂视觉推理任务中超越任务特定的模块化系统？
• RQ2 对学习到的物体嵌入应用自注意力机制，是否能有效支持时空与因果推理任务？
• RQ3 对物体动力学的自监督学习是否能提升在标注数据有限的推理基准上的性能？
• RQ4 物体中心表示、自注意力与自监督学习的组合是否对高性能至关重要？
• RQ5 纯粹的神经方法是否能在以往由神经符号模型主导的反事实与因果推理任务中实现最先进性能？

主要发现

• 在CLEVRER上，Aloe在反事实问题上达到75%的准确率，显著优于此前最佳方法的46%。
• 在ACRE上，Aloe在“向后阻断”推理任务中达到94.48%的准确率，在“屏幕关闭”推理任务中达到98.97%，而最佳神经符号模型分别为16.06%与0.00%。
• Aloe在仅使用40%训练数据的情况下，即达到CLEVRER上最佳先前模型的性能，展现出极高的数据效率。
• 该模型在所有三个领域——CLEVRER、CATER和ACRE——均实现了最先进性能，且无需架构调整或任务特定组件。
• 消融实验证实，物体中心表示、自注意力与自监督学习这三个组件对高性能均不可或缺。
• Aloe在性能上超越了先前的神经网络与专用神经符号模型，表明软归纳偏置在有效性上可与符号推理相媲美。