[论文解读] Beyond Question-Based Biases: Assessing Multimodal Shortcut Learning in Visual Question Answering

Corentin Dancette, Rémi Cadène+2 more|arXiv (Cornell University)|Apr 7, 2021

Multimodal Machine Learning Applications参考文献 41被引用 62

一句话总结

该论文引入 VQA-CE，一种评估协议，用于识别并测试 VQA 数据集中的多模态快捷方式，揭示最先进模型依赖此类快捷方式，且偏差降低方法在不重新训练的情况下基本无效。

ABSTRACT

We introduce an evaluation methodology for visual question answering (VQA) to better diagnose cases of shortcut learning. These cases happen when a model exploits spurious statistical regularities to produce correct answers but does not actually deploy the desired behavior. There is a need to identify possible shortcuts in a dataset and assess their use before deploying a model in the real world. The research community in VQA has focused exclusively on question-based shortcuts, where a model might, for example, answer "What is the color of the sky" with "blue" by relying mostly on the question-conditional training prior and give little weight to visual evidence. We go a step further and consider multimodal shortcuts that involve both questions and images. We first identify potential shortcuts in the popular VQA v2 training set by mining trivial predictive rules such as co-occurrences of words and visual elements. We then introduce VQA-CounterExamples (VQA-CE), an evaluation protocol based on our subset of CounterExamples i.e. image-question-answer triplets where our rules lead to incorrect answers. We use this new evaluation in a large-scale study of existing approaches for VQA. We demonstrate that even state-of-the-art models perform poorly and that existing techniques to reduce biases are largely ineffective in this context. Our findings suggest that past work on question-based biases in VQA has only addressed one facet of a complex issue. The code for our method is available at https://github.com/cdancette/detect-shortcuts.

研究动机与目标

• 通过挖掘文本-视觉共现来识别 VQA 数据集中多模态快捷方式。
• 开发 VQA-CounterExamples（VQA-CE）评估，以在不重新训练模型的情况下探查模型对快捷方式的依赖。
• 在 VQA v2 数据集上使用 VQA-CE 评估各种 VQA 模型和偏差降低方法。
• 分析最被利用的快捷方式，以及对照例子如何影响模型性能。

提出的方法

• 将每个 VQA 三元组（图像、问题、答案）编码为基于词标记、检测到的对象和答案的二进制向量。
• 应用频繁项集挖掘（GMiner）提取前件和后件，形成规则 A -> C。
• 通过训练信心和冗余性筛选规则，以获得一组可信的快捷方式。
• 从高置信度规则构建基于快捷方式的分类器，并在验证数据上评估其预测能力。
• 在 VQA v2 验证集创建 Counterexamples 和 Easy 子集，分别展示快捷方式失败或成功的情况，且无需重新训练模型。
• 通过将总体准确率与 Counterexamples 和 Easy 子集上的准确率进行比较，使用 VQA-CE 协议评估模型性能。

Figure 1: Overview of this work. We first mine simple predictive rules in the training data such as: what + sport + $\color[rgb]{1,0.49609375,0}{\mathrm{racket}^{V}}$ $\rightarrow$ tennis . We then search for counterexamples in the validation set that identify some rules as undesirable statistical s

实验结果

研究问题

• RQ1 在 VQA v2 训练数据中存在哪些多模态快捷方式（文本+视觉线索）？
• RQ2 当前的 VQA 模型是否依赖这些多模态快捷方式，以及偏差降低方法是否能减轻这种依赖？
• RQ3 基于快捷方式的对照例如何揭示相较于标准评估的最先进 VQA 模型的薄弱之处？
• RQ4 我们能否识别出特定模型最严重利用的具体快捷方式？

主要发现

• 在 VQA v2 训练数据中存在大量多模态快捷方式；其中许多在验证数据上具有预测性且主要是多模态（约 90%）。
• 最先进的 VQA 模型在 Counterexamples 子集上显示出显著的准确率下降（在 UpDown、SAN、BLOCK、VilBERT 等模型上约损失 29 点）。
• 使用挖掘出的规则的基于快捷方式的分类器在 VQA v2 验证上实现 42.26% 的总体准确率，与强基线相当，但在 Counterexamples 上为 0%，说明对快捷方式的依赖。
• 偏差降低方法（如 RUBi、LMH 变体、ESR）在 Counterexamples 上改善有限，且常常损害 Easy 子集性能，表明对自然多模态快捷方式的迁移能力有限。
• 某些快捷方式与模型预测高度相关（包括高置信度的多模态规则），甚至有些与模型输出达到 100% 相关，强调模型在实际中利用这些快捷方式。

Figure 2: Pipeline of the proposed method to detect potential shortcuts in a VQA training set. We detect and label objects in images with a Faster R-CNN model. We then summarize each VQA example with binary indicators representing words in the question, answer, and labels of detected objects. Finall