[论文解读] Multi-Modal Answer Validation for Knowledge-Based VQA

Jialin Wu, Jiasen Lu+2 more|arXiv (Cornell University)|Mar 23, 2021

Multimodal Machine Learning Applications被引用 16

一句话总结

该论文提出 MAVEx，一种用于基于知识的视觉问答（VQA）的多模态答案验证框架，通过答案候选来引导从视觉（Google 图片）、文本（Wikipedia）和常识（ConceptNet）知识源中检索信息。通过学习使用答案特定的、多粒度的知识嵌入来验证答案，MAVEx 在 OK-VQA 上实现了单模型 40.3 和集成模型 41.4 的最先进性能。

ABSTRACT

The problem of knowledge-based visual question answering involves answering questions that require external knowledge in addition to the content of the image. Such knowledge typically comes in various forms, including visual, textual, and commonsense knowledge. Using more knowledge sources increases the chance of retrieving more irrelevant or noisy facts, making it challenging to comprehend the facts and find the answer. To address this challenge, we propose Multi-modal Answer Validation using External knowledge (MAVEx), where the idea is to validate a set of promising answer candidates based on answer-specific knowledge retrieval. Instead of searching for the answer in a vast collection of often irrelevant facts as most existing approaches do, MAVEx aims to learn how to extract relevant knowledge from noisy sources, which knowledge source to trust for each answer candidate, and how to validate the candidate using that source. Our multi-modal setting is the first to leverage external visual knowledge (images searched using Google), in addition to textual knowledge in the form of Wikipedia sentences and ConceptNet concepts. Our experiments with OK-VQA, a challenging knowledge-based VQA dataset, demonstrate that MAVEx achieves new state-of-the-art results. Our code is available at https://github.com/jialinwu17/MAVEX

研究动机与目标

• 解决基于知识的 VQA 中噪声和无关知识检索的问题，其中庞大的外部事实会妨碍准确的答案预测。
• 克服传统两阶段 VQA 流水线依赖通用知识检索所导致的局限性，后者通常产生低质量的支持性事实。
• 通过从答案生成转向使用外部知识进行答案验证，以提升答案的可靠性，且由候选答案引导。
• 全面利用多模态知识源——视觉、文本和常识——以增强答案验证性能。
• 证明基于答案引导的知识检索结合多粒度嵌入，可产生更具信息量和可信度的支持性证据。

提出的方法

• 使用预训练的 VQA 模型（ViLBERT）生成一组高质量的答案候选，避免对所有事实进行 exhaustive 搜索。
• 针对每个答案候选，从问题和答案中解析名词短语，并生成针对性查询，以从三个来源检索知识：Wikipedia（文本）、ConceptNet（常识概念）和 Google 图片（视觉事实）。
• 使用多头注意力机制，对检索到的知识在多个粒度上进行嵌入——查询级别、名词短语级别和问题级别——以突出每个候选的关键信息。
• 训练一个答案验证模块，通过在多粒度嵌入上使用学习到的注意力机制，预测每个知识源对给定候选的可信度。
• 使用加权评分机制整合来自所有三个知识源的证据，其中权重由每个候选预测得出，以反映源的可靠性。
• 通过在答案预测上使用交叉熵损失，端到端优化整个系统，使知识检索和验证联合学习。

实验结果

研究问题

• RQ1 与基于问题和图像驱动的检索相比，基于答案引导的知识检索是否能提升基于知识的 VQA 中支持性事实的质量？
• RQ2 多模态知识源——文本（Wikipedia）、常识（ConceptNet）和视觉（图像）——在验证候选答案方面的有效性如何？
• RQ3 多粒度知识嵌入（查询、名词短语、问题级别）是否能增强模型识别相关且可信证据的能力？
• RQ4 使用外部知识进行答案验证是否能在开放域、知识密集型 VQA 中超越传统的答案生成流水线？
• RQ5 每个知识源的贡献是什么？它们在支持答案验证方面如何互补？

主要发现

• MAVEx 在 OK-VQA 基准上实现了新的单模型最先进性能，得分为 40.3，优于先前方法。
• 集成模型达到 41.4 的得分，表明在多样化知识密集型 VQA 示例中具有强大的泛化能力和鲁棒性。
• 使用全部三个知识源（Wikipedia、ConceptNet 和图像）相比 ViLBERT 基线提升了 5% 的性能，各源贡献显著：分别提升 +3.4、+3.3 和 +3.1 分。
• 消融实验表明，若将名词短语级别或问题级别多头注意力替换为平均池化，性能分别下降至 39.77 和 39.60，证明了粒度注意力的重要性。
• 仅答案验证步骤本身相比使用检索知识但无验证的基线，性能提升了 1.1%，证实了其有效性。
• 使用每个示例中最佳表现知识源的“理想”实验达到 47.76 的得分，表明通过更优的源选择仍有巨大提升空间。