[论文解读] Nuisances via Negativa: Adjusting for Spurious Correlations via Data Augmentation

Aahlad Puli, Nitish Joshi+3 more|arXiv (Cornell University)|Oct 4, 2022

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出通过数据增强引入语义扰动，以识别并缓解机器学习模型中的虚假相关性，而无需依赖显式的干扰因素标注。通过破坏全局、局部或基于频率的语义特征（例如通过块随机化或强度滤波），该方法使避免虚假相关性的方法（如 NURD、JTT）能够学习到在分布变化下泛化能力更强的模型，性能接近已知干扰因素的方法，且优于标准 ERM 和原始 JTT。

ABSTRACT

In prediction tasks, there exist features that are related to the label in the same way across different settings for that task; these are semantic features or semantics. Features with varying relationships to the label are nuisances. For example, in detecting cows from natural images, the shape of the head is semantic but because images of cows often have grass backgrounds but not always, the background is a nuisance. Models that exploit nuisance-label relationships face performance degradation when these relationships change. Building models robust to such changes requires additional knowledge beyond samples of the features and labels. For example, existing work uses annotations of nuisances or assumes ERM-trained models depend on nuisances. Approaches to integrate new kinds of additional knowledge enlarge the settings where robust models can be built. We develop an approach to use knowledge about the semantics by corrupting them in data, and then using the corrupted data to produce models which identify correlations between nuisances and the label. Once these correlations are identified, they can be used to adjust for where nuisances drive predictions. We study semantic corruptions in powering different spurious-correlation avoiding methods on multiple out-of-distribution (OOD) tasks like classifying waterbirds, natural language inference (NLI), and detecting cardiomegaly in chest X-rays.

研究动机与目标

• 解决因虚假相关性随数据分布变化而导致模型性能下降的挑战。
• 开发一种无需显式干扰因素标注或对 ERM 训练模型施加强假设的构建鲁棒模型的方法。
• 利用数据增强中的语义知识，构建偏向性模型以暴露干扰依赖关系。
• 证明语义扰动能有效赋能现有避免虚假相关性的方法（SCAMs）。
• 表明基于扰动的方法可达到或超越依赖已知干扰变量的方法的性能。

提出的方法

• 设计选择性破坏语义特征但保留干扰特征的语义扰动，例如图像中全局语义的块随机化，以及自然语言推理（NLI）中的 n-gram 随机化。
• 使用感兴趣区域掩码（ROI-mask）和前提掩码（prem-mask）分别对目标识别和 NLI 中的位置语义进行扰动。
• 应用频率滤波（freq-filter）和强度滤波（int-filter）以针对低频和高强的语义特征，例如在胸部 X 光片心室肥大检测中的应用。
• 训练一个偏向性模型，使其从受损输入中预测标签，从而识别出干扰因素驱动预测的位置。
• 将这些偏向性模型整合进 NURD、DFL、POE 和 JTT 等 SCAM 方法中，以提升对分布偏移的鲁棒性。
• 利用所得模型训练预测模型，使其通过从受损数据中学习，避免依赖虚假相关性。

实验结果

研究问题

• RQ1 能否使用破坏语义特征的数据增强方法，在无需显式干扰因素标注的情况下识别并调整干扰因素？
• RQ2 语义扰动在使 SCAM 方法实现与已知干扰因素方法相当的鲁棒性方面有多有效？
• RQ3 使用语义扰动是否能提升在分布外（OOD）基准（如 waterbirds、NLI 和胸部 X 光片心室肥大检测）上的泛化能力？
• RQ4 不同类型的语义扰动（全局、局部、频率、强度）在破坏语义的同时，多大程度上保留了干扰信息？
• RQ5 语义扰动能否增强 JTT 的性能，而 JTT 依赖于关于 ERM 模型依赖干扰因素的假设？

主要发现

• 如块随机化（patch-rand）和 n-gram 随机化（ngram-rand）等语义扰动可成功识别干扰依赖关系，使 SCAM 方法的性能接近已知干扰变量方法的水平。
• 在 NURD 和 DFL 中使用语义扰动时，其在 OOD 基准上的性能与使用显式干扰因素标注训练的相同方法相比仅相差 1–2%。
• 通过语义扰动增强的 JTT 表现优于原始 JTT，证明其在不依赖 ERM 模型干扰依赖假设的前提下提升了鲁棒性。
• 在 waterbirds 和 NLI 任务中，使用语义扰动的模型弥补了超过 80% 的 ERM 与已知干扰因素方法之间的性能差距。
• 尽管可能存在部分干扰因素被破坏（例如在 patch-rand 中的全局干扰因素），整体方法仍保持强泛化能力，表明对不完美扰动具有鲁棒性。
• 该方法在视觉和自然语言处理任务中均具泛化能力，包括图像分类、NLI 和医学影像，展现出广泛适用性。