[论文解读] Counterfactual Samples Synthesizing for Robust Visual Question Answering

Long Chen, Xin Yan+4 more|arXiv (Cornell University)|Mar 14, 2020

Multimodal Machine Learning Applications参考文献 41被引用 27

一句话总结

本文提出了一种与模型无关的反事实样本生成（CSS）训练方案，通过在图像中遮蔽关键物体（V-CSS）或在问题中用 [MASK] 替换关键词（Q-CSS），生成反事实训练样本，并为其分配新的真实答案，从而提升视觉问答（VQA）模型的性能。该方法显著增强了模型的视觉可解释性与对问题的敏感性，在 VQA-CP v2 上实现了新的 SOTA 58.95% 准确率。

ABSTRACT

Despite Visual Question Answering (VQA) has realized impressive progress over the last few years, today's VQA models tend to capture superficial linguistic correlations in the train set and fail to generalize to the test set with different QA distributions. To reduce the language biases, several recent works introduce an auxiliary question-only model to regularize the training of targeted VQA model, and achieve dominating performance on VQA-CP. However, since the complexity of design, current methods are unable to equip the ensemble-based models with two indispensable characteristics of an ideal VQA model: 1) visual-explainable: the model should rely on the right visual regions when making decisions. 2) question-sensitive: the model should be sensitive to the linguistic variations in question. To this end, we propose a model-agnostic Counterfactual Samples Synthesizing (CSS) training scheme. The CSS generates numerous counterfactual training samples by masking critical objects in images or words in questions, and assigning different ground-truth answers. After training with the complementary samples (ie, the original and generated samples), the VQA models are forced to focus on all critical objects and words, which significantly improves both visual-explainable and question-sensitive abilities. In return, the performance of these models is further boosted. Extensive ablations have shown the effectiveness of CSS. Particularly, by building on top of the model LMH, we achieve a record-breaking performance of 58.95% on VQA-CP v2, with 6.5% gains.

研究动机与目标

• 为解决当前基于集成的 VQA 模型在实现视觉可解释性与问题敏感性行为方面的失败问题。
• 减少因训练数据中表面语言相关性而引发的 VQA 模型语言偏见。
• 通过增强对视觉与语言变化的敏感性，提升模型在分布偏移测试集（如 VQA-CP）上的泛化能力。
• 开发一种即插即用的训练方案，实现与模型无关，且在多种 VQA 架构中均有效。
• 提供一种统一解决方案，同时提升 VQA 模型在视觉注意力保真度与语言鲁棒性方面的能力。

提出的方法

• CSS 通过两种机制生成反事实样本：V-CSS 在图像中遮蔽关键物体，并分配不同的真实答案。
• Q-CSS 将问题中的关键词语替换为 [MASK] 标记，并为新的图像-问题对分配不同的真实答案。
• 该方法与模型无关，可在不改变网络架构的前提下，无缝集成到任意 VQA 模型训练过程中。
• 训练过程同时包含原始样本与合成的反事实样本，以迫使模型关注相关的视觉与语言线索。
• 该方法利用基于注意力的显著性评分（s(a, v) 和 s(a, w)）识别需遮蔽的关键视觉物体与词语。
• 提出一种新指标——置信度提升（CI），通过测量关键词语被移除后置信度的下降程度，定量评估问题敏感性行为。

实验结果

研究问题

• RQ1 反事实样本生成能否提升 VQA 模型的视觉可解释能力？
• RQ2 所提出的方法是否增强了模型对问题中语言变化的敏感性？
• RQ3 CSS 训练方案是否能在多种 VQA 模型（包括基于集成的架构）上保持一致的性能提升？
• RQ4 该方法对 VQA-CP-Rephrasings 中重述问题的鲁棒性有何影响？
• RQ5 CSS 在多大程度上减少了模型对训练数据中虚假语言相关性的依赖？

主要发现

• CSS 在 VQA-CP v2 上实现了 58.95% 的新 SOTA 性能，相比之前 SOTA 模型 LMH 提升了 6.5% 的绝对准确率。
• 视觉可解释能力显著提升，表现为对相关视觉物体的关注度更高，对无关物体的影响更低。
• 问题敏感性能力增强，在 VQA-CP-Rephrasings 上的共识分数（CS(k)）提升了 15.2%，表明对问题重述更具鲁棒性。
• 置信度提升（CI）指标显示，应用 CSS 后，移除关键词语会导致真实答案的置信度显著下降。
• 消融实验表明，V-CSS 与 Q-CSS 对性能提升均有独立贡献，其中 Q-CSS 对语言鲁棒性的提升作用更强。
• 定性分析表明，经 CSS 训练的模型能更准确地关注关键视觉物体（绿色方框）与语言词语（深绿色），从而减少对虚假线索的依赖。