[论文解读] Counterfactual Samples Synthesizing and Training for Robust Visual Question Answering

Long Chen, Yuhang Zheng+3 more|arXiv (Cornell University)|Oct 3, 2021

Multimodal Machine Learning Applications被引用 10

一句话总结

该论文提出了一种与模型无关的反事实样本生成与训练（CSST）框架，通过增强视觉可解释性和对问题的敏感性，提升视觉问答（VQA）模型的性能。CSST通过遮蔽关键视觉对象或问题中的关键词来生成反事实样本，并使用交叉熵损失和对比损失联合训练模型，在分布外基准（如 VQA-CP v2 和 GQA-OOD）上取得了当前最优性能。

ABSTRACT

Today's VQA models still tend to capture superficial linguistic correlations in the training set and fail to generalize to the test set with different QA distributions. To reduce these language biases, recent VQA works introduce an auxiliary question-only model to regularize the training of targeted VQA model, and achieve dominating performance on diagnostic benchmarks for out-of-distribution testing. However, due to complex model design, these ensemble-based methods are unable to equip themselves with two indispensable characteristics of an ideal VQA model: 1) Visual-explainable: The model should rely on the right visual regions when making decisions. 2) Question-sensitive: The model should be sensitive to the linguistic variations in questions. To this end, we propose a novel model-agnostic Counterfactual Samples Synthesizing and Training (CSST) strategy. After training with CSST, VQA models are forced to focus on all critical objects and words, which significantly improves both visual-explainable and question-sensitive abilities. Specifically, CSST is composed of two parts: Counterfactual Samples Synthesizing (CSS) and Counterfactual Samples Training (CST). CSS generates counterfactual samples by carefully masking critical objects in images or words in questions and assigning pseudo ground-truth answers. CST not only trains the VQA models with both complementary samples to predict respective ground-truth answers, but also urges the VQA models to further distinguish the original samples and superficially similar counterfactual ones. To facilitate the CST training, we propose two variants of supervised contrastive loss for VQA, and design an effective positive and negative sample selection mechanism based on CSS. Extensive experiments have shown the effectiveness of CSST. Particularly, by building on top of model LMH+SAR, we achieve record-breaking performance on all OOD benchmarks.

研究动机与目标

• 为解决 VQA 模型在训练数据中依赖表面语言相关性而产生的语言偏见这一长期问题。
• 通过强制模型表现出视觉可解释性和问题敏感性行为，提升模型鲁棒性，确保预测结果基于正确的视觉与语言线索。
• 开发一种无需架构修改或集成设计的与模型无关的训练策略。
• 使 VQA 模型能够有效泛化到具有分布偏移的测试集（即问题-答案分布发生变化的场景）。
• 设计一种数据增强与对比学习流程，迫使模型能够区分原始样本与反事实样本。

提出的方法

• 反事实样本生成（CSS）通过遮蔽关键视觉对象或问题中的关键词来生成训练样本，并基于修改后的输入分配伪真实答案。
• 反事实样本训练（CST）采用双重目标：标准交叉熵损失用于真实答案预测，对比损失用于区分原始样本与反事实样本。
• 基于 CSS 输出设计了一种新颖的正负样本选择机制，以提升对比学习的有效性。
• 针对 VQA 任务提出了两种改进的监督对比损失变体，以增强原始输入与反事实输入之间特征的判别能力。
• 该框架可在不修改模型架构的前提下应用于已有 VQA 模型，实现与模型无关，具有广泛适用性。
• 使用 Grad-CAM 和词性标注（POS tagging）识别关键视觉对象与关键词，用于反事实生成过程中的遮蔽操作。

实验结果

研究问题

• RQ1 反事实数据增强是否能通过强制模型关注正确的视觉区域，提升 VQA 模型的视觉可解释能力？
• RQ2 通过反事实样本进行训练是否能增强 VQA 模型对问题的敏感性，尤其是在语言扰动下的表现？
• RQ3 与基于集成的方法相比，一种与模型无关的训练策略是否能在分布外 VQA 基准上表现更优？
• RQ4 所提出的对比损失在区分原始样本与表面相似的反事实样本方面效果如何？
• RQ5 哪些类型的问题在 CSST 框架下改善最明显，哪些最不明显，原因是什么？

主要发现

• CSST 在所有评估的分布外基准上均达到当前最优性能，包括 VQA-CP v2、VQA-CP v1 和 GQA-OOD。
• 在 VQA-CP v2 上，LMH-CSST 模型实现了 76.8% 的新记录准确率，超越了之前的 SOTA 模型。
• 置信度提升（CI）指标显示，当关键词汇被移除时，CSST 模型的置信度显著下降，表明其具有更强的问题敏感性。
• 消融实验表明，CSS 与 CST 两个组件均不可或缺，其中 CST 通过对比学习对性能提升贡献更大。
• 失败分析表明，该方法在 'Yes/No' 和 'Number' 类问题上表现最弱，可能由于数据集偏差以及启发式预测的容易性。
• 定性分析证实，CSST 改进了 Grad-CAM 注意力图，使其更准确地对齐关键视觉对象与关键词，验证了视觉可解释性的提升。