[论文解读] Knowledge-Routed Visual Question Reasoning: Challenges for Deep Representation Embedding

Qingxing Cao, Bailin Li+3 more|arXiv (Cornell University)|Dec 14, 2020

Multimodal Machine Learning Applications参考文献 35被引用 5

一句话总结

本文提出了知识路由视觉问答（KRVQR）数据集，用于评估视觉问答（VQA）模型在最小化捷径学习的前提下，利用外部知识进行多步推理的能力。通过使用受控程序生成问题，从Visual Genome和知识库中选择一个或两个三元组——确保仅有一个知识三元组与图像中的对象相关，且所有测试知识在训练期间均未出现——该数据集迫使模型在视觉上下文和背景知识之间进行推理。实验表明，即使经过知识预训练微调，当前深度学习模型的准确率仅为22.23%，揭示了知识检索与推理能力存在显著局限，凸显了具备和不具真实支持事实的模型之间在知识推理能力上的巨大差距。

ABSTRACT

Though beneficial for encouraging the Visual Question Answering (VQA) models to discover the underlying knowledge by exploiting the input-output correlation beyond image and text contexts, the existing knowledge VQA datasets are mostly annotated in a crowdsource way, e.g., collecting questions and external reasons from different users via the internet. In addition to the challenge of knowledge reasoning, how to deal with the annotator bias also remains unsolved, which often leads to superficial over-fitted correlations between questions and answers. To address this issue, we propose a novel dataset named Knowledge-Routed Visual Question Reasoning for VQA model evaluation. Considering that a desirable VQA model should correctly perceive the image context, understand the question, and incorporate its learned knowledge, our proposed dataset aims to cutoff the shortcut learning exploited by the current deep embedding models and push the research boundary of the knowledge-based visual question reasoning. Specifically, we generate the question-answer pair based on both the Visual Genome scene graph and an external knowledge base with controlled programs to disentangle the knowledge from other biases. The programs can select one or two triplets from the scene graph or knowledge base to push multi-step reasoning, avoid answer ambiguity, and balanced the answer distribution. In contrast to the existing VQA datasets, we further imply the following two major constraints on the programs to incorporate knowledge reasoning: i) multiple knowledge triplets can be related to the question, but only one knowledge relates to the image object. This can enforce the VQA model to correctly perceive the image instead of guessing the knowledge based on the given question solely; ii) all questions are based on different knowledge, but the candidate answers are the same for both the training and test sets.

研究动机与目标

• 为基于知识的视觉问答（VQA）提供可靠的评估基准，以最小化捷径学习和标注者偏差。
• 通过设计一个迫使模型在视觉上下文和外部知识之间进行推理而非依赖表面相关性的数据集，挑战现有深度学习模型。
• 通过严格约束三元组选择和答案分布，将知识与图像和问题偏差解耦。
• 评估当前VQA模型在未见知识组合上的泛化能力，从而检验其超越记忆化的真正推理能力。

提出的方法

• 使用严格受控的程序生成问题-答案对，从Visual Genome场景图或外部知识库中选择一个或两个三元组。
• 强制实施仅有一个知识三元组与图像对象相关联的约束，确保模型必须感知视觉证据，而非仅凭问题猜测。
• 确保所有测试问题均基于训练期间未出现的知识三元组，以测试对未见知识组合的泛化能力。
• 使用引导注意力模块将图像特征与检索到的知识三元组融合，实现对视觉和文本证据的多步推理。
• 使用三元组分类和掩码标记预测，在知识库表面文本上预训练问题编码器，以改善知识编码。
• 使用知识预训练对MCAN模型进行微调，并在KRVQR数据集上评估性能，以评估其推理与检索能力。

实验结果

研究问题

• RQ1 当训练数据中不包含这些三元组时，VQA模型能否泛化到未见的知识三元组，从而表明其具备真正的推理能力而非记忆？
• RQ2 当前深度学习模型在缺乏答案监督时，多大程度上无法从大型知识库中检索并利用相关知识进行答案预测？
• RQ3 在仅靠答案监督不足以支持的情况下，知识预训练在多大程度上能提升VQA模型对外部知识的推理能力？
• RQ4 通过为知识三元组强制设定唯一的视觉定位，能否防止模型依赖问题-答案捷径？
• RQ5 在知识密集型推理设置中，具备和不具真实支持事实的模型之间，性能差距有多大？

主要发现

• 经过知识预训练的MCAN模型整体准确率仅为22.23%，表明当前深度模型仅靠答案监督难以有效利用知识。
• 在微调过程中，模型在第5和第6个周期后准确率下降，尽管损失持续改善，表明尽管损失下降，模型仍存在对训练数据的过拟合，凸显了泛化到未见知识的困难。
• 即使经过知识预训练，当检索前16个知识三元组时，模型准确率仅比基线提升0.78%，表明知识检索的有效性有限。
• 具备知识推理的模型准确率达到26.34%，显著高于黑箱模型的20.69%，证明真实支持事实对性能至关重要。
• 22.23%的准确率（使用掩码标记预训练）表明，尽管知识编码是可能的，但模型仍无法泛化到未见的知识组合。
• 结果验证了KRVQR数据集能有效防止捷径学习，并揭示了当前深度嵌入模型在知识推理方面的显著局限。