[论文解读] Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering

Yash Goyal, Tejas Khot+3 more|arXiv (Cornell University)|Dec 2, 2016

Multimodal Machine Learning Applications被引用 9

一句话总结

本文通过收集语义相似但对同一问题产生不同答案的互补图像对，构建了一个平衡的VQA数据集，迫使模型依赖视觉理解而非语言先验。在该数据集上评估时，最先进VQA模型的性能显著下降，证实其利用了语言偏差；该框架还支持一种新型可解释模型，可为预测提供反例解释。

ABSTRACT

Problems at the intersection of vision and language are of significant importance both as challenging research questions and for the rich set of applications they enable. However, inherent structure in our world and bias in our language tend to be a simpler signal for learning than visual modalities, resulting in models that ignore visual information, leading to an inflated sense of their capability. We propose to counter these language priors for the task of Visual Question Answering (VQA) and make vision (the V in VQA) matter! Specifically, we balance the popular VQA dataset by collecting complementary images such that every question in our balanced dataset is associated with not just a single image, but rather a pair of similar images that result in two different answers to the question. Our dataset is by construction more balanced than the original VQA dataset and has approximately twice the number of image-question pairs. Our complete balanced dataset is publicly available at www.visualqa.org as part of the 2nd iteration of the Visual Question Answering Dataset and Challenge (VQA v2.0). We further benchmark a number of state-of-art VQA models on our balanced dataset. All models perform significantly worse on our balanced dataset, suggesting that these models have indeed learned to exploit language priors. This finding provides the first concrete empirical evidence for what seems to be a qualitative sense among practitioners. Finally, our data collection protocol for identifying complementary images enables us to develop a novel interpretable model, which in addition to providing an answer to the given (image, question) pair, also provides a counter-example based explanation. Specifically, it identifies an image that is similar to the original image, but it believes has a different answer to the same question. This can help in building trust for machines among their users.

研究动机与目标

• 为解决视觉问答（VQA）中普遍存在的语言先验问题，即模型在不理解视觉内容的情况下也能获得高准确率。
• 通过收集语义相似但对同一问题产生不同答案的图像对，构建一个平衡的VQA数据集，以减少对语言线索的依赖。
• 通过实证证明，最先进VQA模型在新平衡数据集上性能显著下降，从而证实其在原始数据集中利用了语言偏差。
• 设计一种新型可解释VQA模型，不仅能预测答案，还能提供答案不同的反例图像，从而增强模型可信度。

提出的方法

• 对于原始VQA数据集中每个（图像，问题，答案）三元组，人工标注者识别出一幅在视觉上相似但对同一问题产生不同答案的互补图像。
• 互补图像基于VGGNet的fc7特征空间中的语义相似性进行选择，确保视觉差异细微，需依赖详细视觉理解才能区分。
• 最终得到的平衡数据集包含约110万个（图像，问题）对，覆盖约20万个COCO图像，关联约1300万个答案，规模为原始VQA数据集的两倍。
• 训练一种新型可解释VQA模型，用于同时预测答案和一组可能导致不同答案的相似图像，使用学习的解释头。
• 通过Recall@5评估模型的解释质量，将其生成的候选反例列表与人工标注结果进行比较。
• 基线方法包括随机选择、基于距离的排序（最近邻）以及VQA模型预测答案概率以对候选图像进行排序。

实验结果

研究问题

• RQ1 能否通过构建一个数据集，使得同一问题在视觉相似的图像上产生不同答案，从而实证证明VQA中的语言先验？
• RQ2 最先进VQA模型在多大程度上依赖语言模式而非视觉理解？其在平衡数据集上的性能下降程度可作为衡量指标。
• RQ3 能否设计一种VQA模型，提供可解释的、基于反例的解释，以增强用户信任和模型透明度？
• RQ4 与人工标注结果相比，模型识别合理反例的能力有多强？哪些基线方法表现最佳？

主要发现

• 所有测试的最先进VQA模型在平衡VQA数据集上均表现出显著性能下降，为模型在原始数据集中利用语言先验提供了实证证据。
• 该平衡数据集通过提高每个问题下答案分布P(A|Q)的熵，降低了语言偏差，使语言线索变得不可靠。
• 所提出的可解释模型在识别人工标注反例上的Recall@5达到43.39%，优于随机基线（20.79%）和VQA模型基线（21.65%）。
• Distance基线（基于特征相似性排序图像）达到42.84%的Recall@5，表明仅依赖视觉相似性是强大但不充分的信号，无法准确识别有意义的反例。
• 所提模型与Distance基线之间的性能差距表明，准确预测反例需要超越简单特征距离的视觉理解能力。
• 该平衡数据集（VQA v2.0）的可用性使得VQA模型的评估更加可靠，推动了真正视觉理解的发展，而非仅依赖语言模式匹配。