[论文解读] LRTA: A Transparent Neural-Symbolic Reasoning Framework with Modular Supervision for Visual Question Answering

Weixin Liang, Feiyang Niu+3 more|arXiv (Cornell University)|Nov 21, 2020

Multimodal Machine Learning Applications参考文献 45被引用 11

一句话总结

LRTA 提出了一种透明的、模块化的神经符号框架，用于视觉问答任务，通过依次‘观察’（场景图生成）、‘阅读’（问题解析）、‘思考’（通过循环执行进行逐步推理）和‘回答’（生成自然语言解释）来模拟人类推理过程。该方法在 GQA 数据集的完整答案生成任务中取得了 43.1% 的准确率，显著优于当前最先进模型，并展现出对语言扰动更强的鲁棒性，表明其具备更深层次的理解能力而非仅依赖表面相关性。

ABSTRACT

The predominant approach to visual question answering (VQA) relies on encoding the image and question with a "black-box" neural encoder and decoding a single token as the answer like "yes" or "no". Despite this approach's strong quantitative results, it struggles to come up with intuitive, human-readable forms of justification for the prediction process. To address this insufficiency, we reformulate VQA as a full answer generation task, which requires the model to justify its predictions in natural language. We propose LRTA [Look, Read, Think, Answer], a transparent neural-symbolic reasoning framework for visual question answering that solves the problem step-by-step like humans and provides human-readable form of justification at each step. Specifically, LRTA learns to first convert an image into a scene graph and parse a question into multiple reasoning instructions. It then executes the reasoning instructions one at a time by traversing the scene graph using a recurrent neural-symbolic execution module. Finally, it generates a full answer to the given question with natural language justifications. Our experiments on GQA dataset show that LRTA outperforms the state-of-the-art model by a large margin (43.1% v.s. 28.0%) on the full answer generation task. We also create a perturbed GQA test set by removing linguistic cues (attributes and relations) in the questions for analyzing whether a model is having a smart guess with superficial data correlations. We show that LRTA makes a step towards truly understanding the question while the state-of-the-art model tends to learn superficial correlations from the training data.

研究动机与目标

• 为解决黑箱 VQA 模型仅输出单个词答案而缺乏可解释性的问题。
• 将 VQA 重新定义为完整答案生成任务，通过自然语言解释提升可解释性。
• 开发一种模块化、端到端可训练的框架，支持错误定位与人类可读的推理轨迹。
• 评估模型对语言扰动的鲁棒性，特别是对属性和关系的移除，以判断其理解是否基于真实语义而非表面相关性。
• 构建一个经过扰动的 GQA 测试集，用于探测模型推理能力，超越准确率指标的评估。

提出的方法

• LRTA 使用场景图生成模块，将输入图像转换为对象及其关系的结构化表示。
• 语义解析模块将每个问题分解为多个推理指令，例如‘找到拿着汉堡包的人’。
• 循环神经符号执行引擎通过逐步遍历场景图来处理每条指令，同时保持隐藏状态以支持推理。
• 该框架通过隐藏状态连接所有模块，而非符号化输出，从而实现从原始像素到完整答案的端到端训练。
• 自然语言生成模块基于中间推理步骤合成最终答案，并附带详细解释。
• 模型采用端到端训练，并在经过扰动的 GQA 测试集上进行评估，其中语言线索（属性、关系）被系统性地屏蔽。

实验结果

研究问题

• RQ1 神经符号 VQA 框架是否能在实现完整答案生成的同时，为每个推理步骤提供人类可读的解释？
• RQ2 与黑箱模型相比，LRTA 的模块化、分步推理过程是否展现出更强的对语言扰动的鲁棒性？
• RQ3 在属性或关系被屏蔽时，LRTA 在性能上的下降程度在多大程度上反映了其对训练数据中表面统计相关性的依赖？
• RQ4 与仅依赖目标检测相比，场景图在提升 VQA 性能和可解释性方面有多有效？
• RQ5 视觉真实情况（真实场景图）能否揭示 LRTA 框架的理论潜力？

主要发现

• LRTA 在 GQA 数据集的完整答案生成任务中达到 43.1% 的准确率，比当前最先进模型 LXMERT 提高了 15.1 个百分点。
• 当属性和关系等语言线索被屏蔽时，LRTA 的性能分别下降 21.03% 和 26.20%，表明其更依赖语义内容而非表面相关性。
• 相比之下，LXMERT 的性能仅分别下降 9.41%（属性）和 19.43%（关系），表明其更严重地依赖表面数据相关性。
• 在使用视觉真实情况（真实场景图）时，LRTA 在短答案任务上达到 93.1% 的准确率，在完整答案任务上达到 85.99%，接近理论上限 96%。
• 经过扰动的 GQA 测试集有效揭示了模型行为，表明 LRTA 的推理更具鲁棒性，且与真实理解更一致，而 LXMERT 的表现更接近基于模式的猜测。