[论文解读] Interpretable Visual Question Answering by Reasoning on Dependency Trees

Qingxing Cao, Bailin Li+2 more|arXiv (Cornell University)|Sep 6, 2018

Multimodal Machine Learning Applications参考文献 46被引用 8

一句话总结

该论文提出了一种解析树引导的推理网络（PTGRN），通过在问题解析出的依存树上进行全局推理，实现可解释的视觉问答。该模型使用注意力模块定位视觉证据，采用门控残差组合模块整合子节点特征，并通过解析树引导的传播模块沿依存边传递信息，实现了最先进水平的VQA性能和高可解释性，且无需依赖人工设计的规则或真实程序布局。

ABSTRACT

Collaborative reasoning for understanding image-question pairs is a very critical but underexplored topic in interpretable visual question answering systems. Although very recent studies have attempted to use explicit compositional processes to assemble multiple subtasks embedded in questions, their models heavily rely on annotations or handcrafted rules to obtain valid reasoning processes, which leads to either heavy workloads or poor performance on compositional reasoning. In this paper, to better align image and language domains in diverse and unrestricted cases, we propose a novel neural network model that performs global reasoning on a dependency tree parsed from the question; thus, our model is called a parse-tree-guided reasoning network (PTGRN). This network consists of three collaborative modules: i) an attention module that exploits the local visual evidence of each word parsed from the question, ii) a gated residual composition module that composes the previously mined evidence, and iii) a parse-tree-guided propagation module that passes the mined evidence along the parse tree. Thus, PTGRN is capable of building an interpretable visual question answering (VQA) system that gradually derives image cues following question-driven parse-tree reasoning. Experiments on relational datasets demonstrate the superiority of PTGRN over current state-of-the-art VQA methods, and the visualization results highlight the explainable capability of our reasoning system.

研究动机与目标

• 解决现有VQA模型作为黑箱导致的可解释性不足问题。
• 克服先前方法依赖昂贵标注或人工规则进行组合推理的局限性。
• 开发一种通用的VQA框架，能够在无需领域特定知识的情况下，对多样化、开放式问题进行推理。
• 通过在依存解析树上进行全局、结构化推理，提升VQA中的关系推理能力。
• 实现与真实边界框高度对齐的注意力图准确率，从而增强模型的可解释性。

提出的方法

• 模型使用现成的依存解析器从输入问题生成解析树。
• 注意力模块通过融合子节点的注意力图与词嵌入，结合图像特征，挖掘局部视觉证据。
• 门控残差组合模块使用可学习门控机制，整合子节点的特征，以更新当前节点的表征。
• 解析树引导的传播模块根据依存关系类型（如从句谓词或修饰语）对隐藏状态和注意力图进行条件传播，传递至父节点。
• 网络按解析树的自顶向下顺序处理节点，实现序列化、结构化的推理。
• 该框架端到端训练，无需真实程序布局或标注的推理路径。

实验结果

研究问题

• RQ1 VQA模型是否能在不依赖标注推理程序的情况下，通过在依存树上进行结构化推理实现高可解释性？
• RQ2 与最先进方法相比，所提出的PTGRN模型在关系推理任务中的表现如何？
• RQ3 模型性能在多大程度上依赖于依存解析步骤的准确性？
• RQ4 模型是否能在无推理路径监督的情况下，实现与真实物体位置高度对齐的注意力图？
• RQ5 模型是否能在无需领域特定规则工程的情况下，泛化至多样化、开放式的问题类型？

主要发现

• 当使用真实程序布局时，PTGRN在CLEVR验证集上达到91.85%的准确率，优于先前方法。
• 在无真实布局的情况下，PTGRN在CLEVR验证集上达到64.71%的注意力图准确率，较MAC模型提升31.99%。
• 当依存树被扰动时，模型性能显著下降——当70%的关系被随机更改时，准确率从95.42%降至40.11%，表明模型对解析质量有强依赖性。
• 可视化结果表明，PTGRN能正确识别多个物体实例（如蓝色物体），并能跨远距离图像区域追踪复杂关系（如“多于”）。
• 门控残差组合模块有效实现了子节点特征的整合，提升了对复杂问题的推理能力。
• 解析树引导的传播模块成功将边特定信息传递至父节点，实现了基于句法结构的上下文感知推理。