[论文解读] Explaining The Efficacy of Counterfactually Augmented Data

Divyansh Kaushik, Amrith Setlur+2 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 64被引用 7

一句话总结

本文通过提出一个因果框架，解释了对抗性增强数据（CAD）为何能提升模型的鲁棒性与分布外泛化能力：非因果特征中的噪声可提升分布外性能，而因果特征中的噪声则会降低性能。实证验证表明，CAD识别出的片段表现出这一特性，表明其捕捉到了因果信号，而注意力机制或显著性图则不具备此特性。

ABSTRACT

In attempts to produce ML models less reliant on spurious patterns in NLP datasets, researchers have recently proposed curating counterfactually augmented data (CAD) via a human-in-the-loop process in which given some documents and their (initial) labels, humans must revise the text to make a counterfactual label applicable. Importantly, edits that are not necessary to flip the applicable label are prohibited. Models trained on the augmented data appear, empirically, to rely less on semantically irrelevant words and to generalize better out of domain. While this work draws loosely on causal thinking, the underlying causal model (even at an abstract level) and the principles underlying the observed out-of-domain improvements remain unclear. In this paper, we introduce a toy analog based on linear Gaussian models, observing interesting relationships between causal models, measurement noise, out-of-domain generalization, and reliance on spurious signals. Our analysis provides some insights that help to explain the efficacy of CAD. Moreover, we develop the hypothesis that while adding noise to causal features should degrade both in-domain and out-of-domain performance, adding noise to non-causal features should lead to relative improvements in out-of-domain performance. This idea inspires a speculative test for determining whether a feature attribution technique has identified the causal spans. If adding noise (e.g., by random word flips) to the highlighted spans degrades both in-domain and out-of-domain performance on a battery of challenge datasets, but adding noise to the complement gives improvements out-of-domain, it suggests we have identified causal spans. We present a large-scale empirical study comparing spans edited to create CAD to those selected by attention and saliency maps. Across numerous domains and models, we find that the hypothesized phenomenon is pronounced for CAD.

研究动机与目标

• 解释对抗性增强数据（CAD）在减少对虚假相关性依赖方面成功背后的因果机制。
• 通过测试其对噪声注入的响应，探究CAD编辑的特征是否具有因果相关性。
• 评估注意力和显著性图等特征归因方法是否与CAD识别出的因果片段一致。
• 确定在因果特征与非因果特征上注入噪声，是否会在分布内与分布外设置下引发可预测的性能变化。
• 提出并测试一种基于噪声下相对性能下降的诊断方法，用于识别NLP模型中的因果片段。

提出的方法

• 构建线性高斯因果模型，以模拟噪声对因果与非因果特征的影响。
• 提出假设：因果特征上的噪声会降低分布内与分布外性能，而非因果特征上的噪声会降低分布内性能但提升分布外性能。
• 通过在人类识别的推理片段（即注意力或显著性图识别的片段）上注入随机词语替换（噪声）来实证检验该假设。
• 在注入噪声的数据集上训练模型（SVM、BiLSTM、BERT），并在分布内与分布外测试集上评估性能。
• 比较在噪声下，基于CAD数据训练的模型与其他数据源（如Hu et al.、Li et al.）训练的模型的性能变化。
• 使用TF-IDF与基于注意力的推理片段识别并扰动文本中的关键标记，测量模型行为的变化。

实验结果

研究问题

• RQ1 对抗性增强数据（CAD）在减少对虚假信号依赖方面的有效性，其背后的因果结构是什么？
• RQ2 在CAD识别的片段上注入噪声是否如因果特征预期的那样，导致分布内与分布外性能均下降？
• RQ3 在非CAD片段上注入噪声是否如非因果特征预测的那样，提升分布外性能？
• RQ4 注意力与显著性图驱动的特征归因方法与CAD在识别因果相关片段方面相比如何？
• RQ5 在噪声下相对性能变化是否可作为识别NLP模型中因果片段的诊断工具？

主要发现

• 在CAD数据上训练的模型在情感分析中显著减少了对虚假词如'horror'和'romance'的依赖，SVM在修订数据上的性能从51.0%提升至87.3%。
• 当在人类识别的推理片段（CAD片段）中注入噪声时，分布内与分布外性能均下降，证实了其因果性质。
• 当在非推理片段（非CAD片段）中注入噪声时，分布外性能相对于分布内性能得到提升，支持了非因果特征在分布外设置中受益于噪声的假设。
• 在CAD识别的片段上，噪声下的性能变化如假设所示显著，但在注意力或显著性图选择的片段上则不明显，表明CAD识别出的特征更具因果相关性。
• 在CAD数据上微调的BERT在修订测试集上达到95.1%的准确率，优于在原始数据（88.5%）或混合数据（81.6%）上训练的模型，表现出强大的分布外泛化能力。
• 在SNLI任务中，对CAD识别的推理片段注入100%噪声，导致样本内准确率下降20.3个百分点（从90.0降至69.7），RP下降15.4个百分点（从66.9降至51.5），证实了其因果作用。