[论文解读] Identifying Spurious Correlations for Robust Text Classification

Zhao Wang, Aron Culotta|arXiv (Cornell University)|Oct 6, 2020

Topic Modeling参考文献 34被引用 8

一句话总结

该论文提出了一种监督方法，通过利用因果推断中的处理效应估计器作为特征，来识别文本分类中的虚假相关性。在仅使用200至300个标注样本进行训练的情况下，该词分类器在AUC得分上达到0.66至0.82，并通过按预测虚假性程度依次过滤掉虚假术语，提升了下游任务在分布偏移和公平性问题下的最差情况准确率，增强了模型鲁棒性。

ABSTRACT

The predictions of text classifiers are often driven by spurious correlations -- e.g., the term `Spielberg' correlates with positively reviewed movies, even though the term itself does not semantically convey a positive sentiment. In this paper, we propose a method to distinguish spurious and genuine correlations in text classification. We treat this as a supervised classification problem, using features derived from treatment effect estimators to distinguish spurious correlations from "genuine" ones. Due to the generic nature of these features and their small dimensionality, we find that the approach works well even with limited training examples, and that it is possible to transport the word classifier to new domains. Experiments on four datasets (sentiment classification and toxicity detection) suggest that using this approach to inform feature selection also leads to more robust classification, as measured by improved worst-case accuracy on the samples affected by spurious correlations.

研究动机与目标

• 解决文本分类器依赖虚假相关性的问题，例如‘斯皮尔伯格’一词与正面情感相关，并非因其语义含义，而是由于其与成功电影的统计关联。
• 通过识别并过滤此类虚假特征，提升模型在测试数据偏离训练数据（如出现一部负面的斯皮尔伯格电影）的分布偏移场景下的鲁棒性。
• 通过减少与人口群体相关联的术语在毒性预测中的过度响应，即使这些术语本身并非本质上具有毒性，从而提升文本分类的公平性。
• 通过减少对误导性特征的依赖，降低模型决策中因虚假相关性导致的信任危机，从而支持NLP的可解释性。
• 开发一种可迁移、数据高效的方法，用于识别虚假特征，且无需从头开始重新训练即可在不同领域间泛化。

提出的方法

• 将虚假与真实词相关性的识别问题视为一个监督二分类问题，使用来自因果推断技术的词级特征。
• 采用基于匹配的处理效应估计方法，隔离每个词对标签的因果影响，同时控制上下文共现模式。
• 从匹配过程中构建一组通用的、低维的特征（如平均处理效应和倾向得分），用于训练词分类器。
• 在少量标注词样本（200–300个）上训练二分类器，预测某个词是否为虚假或真实，使用这些由处理效应衍生的特征。
• 将训练好的词分类器应用于整个词汇表，按其预测的虚假性程度对所有词进行排序，从而在下游文本分类中实现特征选择。
• 利用排序列表指导主分类任务中的特征选择，按预测虚假性递增的顺序逐步移除词语，以提升最差情况下的准确率。

实验结果

研究问题

• RQ1 处理效应估计器能否被用来构建有效且低维的特征，以在文本分类中区分虚假与真实的词相关性？
• RQ2 在仅使用少量标注样本（200–300个）进行训练的情况下，词分类器在识别虚假术语方面表现如何，即使在测试集包含与标签高度相关的词语时？
• RQ3 在不经历显著性能下降的前提下，一个在某一领域训练的词分类器在多大程度上可以迁移到另一领域？
• RQ4 使用词分类器指导特征选择是否能提升下游文本分类任务在分布偏移场景下的最差情况准确率？
• RQ5 与情感词典等基线方法相比，该方法在识别真实、上下文相关的正面情感和毒性特征方面表现如何？

主要发现

• 所提出的词分类器在识别虚假相关性方面AUC得分为0.66至0.82，即使在测试集包含与标签强相关的词语时也表现出鲁棒性，证明了其在有限训练数据下的有效性。
• 该方法在不同领域间具有良好的泛化能力：在某一数据集（如IMDB）上训练的词分类器，在另一数据集（如毒性评论）上应用时仍保持高性能，显示出强大的可迁移性。
• 通过词分类器预测结果指导的特征选择（按预测虚假性程度逐步移除词语）显著提升了在分布偏移测试集上的最差情况准确率，证实了模型鲁棒性的增强。
• 在IMDB、Kindle、毒性评论和毒性推文四个数据集上，该方法均优于情感词典基线模型，F1或AUC的性能差距在0.05至0.2之间，原因在于其能更准确识别上下文相关的非情感类真实特征。
• 将处理效应估计与其他特征（如词频、共现模式）结合使用，相比仅使用处理效应特征，能获得更优的分类器性能，表明多模态特征工程具有显著价值。
• 该方法能有效降低毒性分类中对与人口群体相关术语的依赖，从而缓解由虚假相关性引发的公平性风险。