[论文解读] Learning by Abstraction: The Neural State Machine

Drew A. Hudson, Christopher D. Manning|arXiv (Cornell University)|Jul 9, 2019

Multimodal Machine Learning Applications参考文献 83被引用 17

一句话总结

该论文提出神经状态机（NSM），一种可微分的图神经网络，将视觉场景建模为概率场景图，并通过注意力机制引导的状态转移实现对场景图的序列化推理，推理过程由自然语言问题引导。该方法在GQA和VQA-CP数据集上达到最先进性能，通过在结构化、抽象的语义空间中运行，展现出对新概念和语言结构的强大泛化能力，同时提升了模块化与可解释性。

ABSTRACT

We introduce the Neural State Machine, seeking to bridge the gap between the neural and symbolic views of AI and integrate their complementary strengths for the task of visual reasoning. Given an image, we first predict a probabilistic graph that represents its underlying semantics and serves as a structured world model. Then, we perform sequential reasoning over the graph, iteratively traversing its nodes to answer a given question or draw a new inference. In contrast to most neural architectures that are designed to closely interact with the raw sensory data, our model operates instead in an abstract latent space, by transforming both the visual and linguistic modalities into semantic concept-based representations, thereby achieving enhanced transparency and modularity. We evaluate our model on VQA-CP and GQA, two recent VQA datasets that involve compositionality, multi-step inference and diverse reasoning skills, achieving state-of-the-art results in both cases. We provide further experiments that illustrate the model's strong generalization capacity across multiple dimensions, including novel compositions of concepts, changes in the answer distribution, and unseen linguistic structures, demonstrating the qualities and efficacy of our approach.

研究动机与目标

• 通过整合神经网络与符号AI的互补优势，弥合两者在视觉推理中的差距。
• 解决深度学习模型在系统性泛化、可解释性与模块化方面的局限性。
• 通过结构化、抽象的表示实现对视觉场景的鲁棒推理，支持组合性与序列化推理。
• 在视觉问答任务中，评估对新概念、未见语言结构及答案分布偏移的泛化能力。

提出的方法

• 该模型首先从图像构建概率场景图，其中节点表示带属性的对象，边表示空间与语义关系。
• 随后将场景图视为状态机，节点作为状态，边作为状态转移，实现对图的序列化推理。
• 将自然语言问题嵌入为软性指令，引导对图节点进行迭代的注意力机制遍历，以计算答案。
• 使用共享的概念词汇表（对象、属性、关系）将视觉与语言模态对齐至同一抽象空间。
• 通过图上的可微消息传递执行推理，注意力机制在每一步选择相关节点与边。
• 该架构端到端训练，以预测答案，同时保持结构与内容表征的解耦。

实验结果

研究问题

• RQ1 神经网络模型能否在未见的视觉概念组合上实现强大的泛化能力？
• RQ2 当训练数据分布发生偏移时，模型能否泛化到未见的语言结构？
• RQ3 与直接处理原始感官输入相比，在抽象、结构化的潜在空间中运行是否能提升可解释性与模块化？
• RQ4 基于图的、类似自动机的场景图计算能否在组合式视觉推理任务上超越端到端神经网络？

主要发现

• 神经状态机在GQA内容泛化划分上达到40.24%的最先进准确率，在结构泛化划分上达到55.72%，显著优于先前方法。
• 在VQA-CPv2上，NSM达到45.80%的准确率，超越所有先前单模型方法，包括BAN（39.31%）与ReGAT（40.42%）。
• 模型在未见对象类别（如食物、动物）上展现出强大的零样本泛化能力，在内容划分上达到40.24%的准确率。
• 其在新语言结构上泛化表现优异，在结构泛化划分上达到55.72%，表明对句法与语义变化具有鲁棒性。
• 当答案分布发生偏移时，模型性能依然保持高位，显示出对测试数据分布偏移的鲁棒性。
• 消融实验确认，结构化、抽象的表征与序列化推理机制是模型泛化能力的关键。