[论文解读] Explainable High-order Visual Question Reasoning: A New Benchmark and Knowledge-routed Network

Qingxing Cao, Bailin Li+2 more|arXiv (Cornell University)|Sep 23, 2019

Multimodal Machine Learning Applications参考文献 29被引用 9

一句话总结

本文提出了HVQR基准，用于可解释的高阶视觉问答，强调基于图像场景图和常识知识库的多步推理。提出了一种知识路由模块化网络（KM-net），通过查询布局显式建模推理路径，在新基准上实现了最先进水平的准确率与解释质量，显著优于先前模型在复杂、依赖知识的问题上的表现。

ABSTRACT

Explanation and high-order reasoning capabilities are crucial for real-world visual question answering with diverse levels of inference complexity (e.g., what is the dog that is near the girl playing with?) and important for users to understand and diagnose the trustworthiness of the system. Current VQA benchmarks on natural images with only an accuracy metric end up pushing the models to exploit the dataset biases and cannot provide any interpretable justification, which severally hinders advances in high-level question answering. In this work, we propose a new HVQR benchmark for evaluating explainable and high-order visual question reasoning ability with three distinguishable merits: 1) the questions often contain one or two relationship triplets, which requires the model to have the ability of multistep reasoning to predict plausible answers; 2) we provide an explicit evaluation on a multistep reasoning process that is constructed with image scene graphs and commonsense knowledge bases; and 3) each relationship triplet in a large-scale knowledge base only appears once among all questions, which poses challenges for existing networks that often attempt to overfit the knowledge base that already appears in the training set and enforces the models to handle unseen questions and knowledge fact usage. We also propose a new knowledge-routed modular network (KM-net) that incorporates the multistep reasoning process over a large knowledge base into visual question reasoning. An extensive dataset analysis and comparisons with existing models on the HVQR benchmark show that our benchmark provides explainable evaluations, comprehensive reasoning requirements and realistic challenges of VQA systems, as well as our KM-net's superiority in terms of accuracy and explanation ability.

研究动机与目标

• 解决现有VQA基准仅关注答案准确率、缺乏对推理过程评估的局限性。
• 通过强制模型泛化到未见过的知识三元组，克服现有数据集中模型对偏见性问题-答案相关性的过拟合问题。
• 开发一个评估答案准确率与推理步骤可解释性的基准，通过显式多步推理评估实现双重评估。
• 设计一种模型，能够通过从外部知识库和场景图中路由知识，执行显式、模块化且可解释的推理。
• 通过确保每个知识三元组在所有问题中仅出现一次，防止记忆化，为VQA系统提供真实挑战。

提出的方法

• HVQR基准通过组合图像场景图中的一个或两个关系三元组与外部常识知识库，构建复杂、多跳推理任务的问答。
• 为每张图像动态构建知识图，通过合并场景图与知识库三元组，实现对视觉与外部知识的联合推理。
• 所提出的KM-net模型将问题解析为符号化查询布局，表示在知识图上的推理路径。
• 该模型采用模块化网络架构，每个模块对应一个推理步骤，关注知识图中相关实体与关系。
• 通过查询估计器在测试时预测推理布局，实现无需真实布局监督的端到端推理。
• 引入一种解释性评估指标，用于衡量预测支持三元组的召回率，实现对推理过程的诊断性评估。

实验结果

研究问题

• RQ1 一个VQA基准能否有效评估高阶视觉问答中答案准确率与推理过程可解释性的双重能力？
• RQ2 如何设计一种模型，能够在不记忆训练数据的前提下，对视觉与常识知识执行显式、多步推理？
• RQ3 引入外部知识在复杂、组合结构化问题上的性能提升程度如何？
• RQ4 模型预测推理路径（查询布局）的能力在多大程度上影响整体性能与可解释性？
• RQ5 模块化、知识路由的架构是否能在推理密集型VQA任务中超越端到端模型？

主要发现

• 所提出的KM-net在HVQR基准上实现了85.12%的整体答案准确率，显著优于所有先前的最先进模型。
• 在与知识库相关的题目（尤其是qtype 2与qtype 5）上，KM-net相比第二佳方法实现了28.05%的性能提升，表明其具备强大的知识利用能力。
• 解释性评估指标显示，KM-net实现了23.08%的平均支持三元组召回率，表明其预测推理与真实事实高度一致。
• 消融实验确认场景图理解至关重要：当测试时无法获取场景图标注时，性能下降至25.19%，凸显模型对准确视觉感知的依赖。
• 模型在二阶问题上的表现接近第二佳方法的两倍，证明其具备卓越的多跳推理能力。
• FULL设置实现了100%的准确率，验证了HVQR基准构建与标注流程的正确性与一致性。