[论文解读] KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA

Kenneth Marino, Xinlei Chen+3 more|arXiv (Cornell University)|Dec 20, 2020

Multimodal Machine Learning Applications被引用 5

一句话总结

KRISP 提出了一种新颖的框架，将视觉-语言预训练中的隐式知识与多源知识图谱中的显式符号知识相结合，以提升开放域知识增强型 VQA 的性能。通过在晚期融合中保留符号语义以及基于图的推理，KRISP 在 OK-VQA 上实现了最先进性能，v1.1 版本达到 38.90% 的准确率，v1.0 版本达到 38.35%，显著优于先前方法。

ABSTRACT

One of the most challenging question types in VQA is when answering the question requires outside knowledge not present in the image. In this work we study open-domain knowledge, the setting when the knowledge required to answer a question is not given/annotated, neither at training nor test time. We tap into two types of knowledge representations and reasoning. First, implicit knowledge which can be learned effectively from unsupervised language pre-training and supervised training data with transformer-based models. Second, explicit, symbolic knowledge encoded in knowledge bases. Our approach combines both - exploiting the powerful implicit reasoning of transformer models for answer prediction, and integrating symbolic representations from a knowledge graph, while never losing their explicit semantics to an implicit embedding. We combine diverse sources of knowledge to cover the wide variety of knowledge needed to solve knowledge-based questions. We show our approach, KRISP (Knowledge Reasoning with Implicit and Symbolic rePresentations), significantly outperforms state-of-the-art on OK-VQA, the largest available dataset for open-domain knowledge-based VQA. We show with extensive ablations that while our model successfully exploits implicit knowledge reasoning, the symbolic answer module which explicitly connects the knowledge graph to the answer vocabulary is critical to the performance of our method and generalizes to rare answers.

研究动机与目标

• 为解决开放域知识增强型 VQA 的挑战，即所需知识未出现在图像或训练数据中。
• 通过结合视觉-语言预训练的隐式知识与多源知识库的显式符号知识，提升在 OK-VQA 上的性能。
• 在整个推理过程中保持符号知识的可解释性与语义清晰性，避免在嵌入空间中造成信息损失。
• 证明符号知识的整合对泛化能力至关重要，尤其是对罕见答案的泛化。
• 开发一种统一架构，有效融合多模态表示与结构化知识，以提升推理能力。

提出的方法

• KRISP 使用在大规模数据上预训练的基于视觉-语言 BERT 的 Transformer 模型，以从图像和文本输入中捕捉隐式知识。
• 通过整合四个不同来源（DBPedia、ConceptNet、VisualGenome 和 hasPart KB）构建异构知识图谱，覆盖多样化的事实领域。
• 模型使用图神经网络在符号事实上传播并进行推理，同时在整个推理过程中保持节点级别的表示。
• 通过关注知识图谱中的单个节点进行答案预测，实现基于符号事实的显式、可解释的推理。
• 采用晚期融合策略，将多模态 Transformer 与符号图网络的输出相结合，生成最终的答案预测。
• 模型在 VQA、掩码图像-文本重建以及知识图谱推理任务上进行联合预训练，以增强泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 将预训练 Transformer 的隐式知识与知识图谱的显式符号知识相结合，能否提升开放域 VQA 的性能？
• RQ2 在整个推理流程中保持符号语义，对模型性能及对罕见答案的泛化能力有何影响？
• RQ3 在回答知识增强型 VQA 问题时，隐式知识与符号知识的相对贡献分别是什么？
• RQ4 在视觉-语言与知识图谱任务上进行联合预训练，能否提升零样本或少样本泛化能力？
• RQ5 与端到端融合相比，符号与隐式推理的晚期融合策略在准确率与可解释性方面表现如何？

主要发现

• KRISP 在 OK-VQA v1.1 上达到 38.90% 的准确率，创下新的最先进水平，显著优于此前最先进方法的 33.66%。
• 符号知识模块对性能至关重要，尤其在罕见答案上，消融实验证明其移除后准确率显著下降。
• 在 VQA 任务与知识图谱推理任务上的联合预训练有助于提升泛化能力，完全预训练的 KRISP 模型达到 38.90% 的准确率。
• 模型通过基于知识图谱单个节点预测答案，展现出明确的推理过程，体现决策的可解释性与可追溯性。
• 对图网络组件本身进行预训练可提升性能，表明符号知识表示可通过端到端优化获益。
• 由于知识图谱中所有事实共享相同的符号推理逻辑，模型对训练中未见的稀有实体与事实具有良好的泛化能力。