[论文解读] Last Layer Re-Training is Sufficient for Robustness to Spurious Correlations
论文表明只在最后一层进行再训练(Deep Feature Reweighting)在一个小的平衡集上即可实现对虚假相关性的最先进鲁棒性,达到或超过复杂方法,同时计算成本低。
Neural network classifiers can largely rely on simple spurious features, such as backgrounds, to make predictions. However, even in these cases, we show that they still often learn core features associated with the desired attributes of the data, contrary to recent findings. Inspired by this insight, we demonstrate that simple last layer retraining can match or outperform state-of-the-art approaches on spurious correlation benchmarks, but with profoundly lower complexity and computational expenses. Moreover, we show that last layer retraining on large ImageNet-trained models can also significantly reduce reliance on background and texture information, improving robustness to covariate shift, after only minutes of training on a single GPU.
研究动机与目标
- 研究虚假相关性如何影响学习到的特征,并确定即使模型依赖虚假线索时,核心特征是否仍然存在并可解码。
- 提出并评估 Deep Feature Reweighting (DFR) 作为最后一层再训练技术,以提升最坏组的准确性。
- 展示 DFR 在带有虚假相关性的基准测试以及在 ImageNet 上的大规模模型中的有效性。
- 评估 DFR 降低对背景和纹理的依赖及其对协变量偏移鲁棒性的影响。
提出的方法
- 在带有虚假相关性的数据上训练标准 ERM 模型,以观察学习到的特征表示。
- 提取潜在特征并证明即使虚假特征主导,核心特征仍然存在且可解码。
- 仅使用一个小型、对组平衡的重加权数据集对最后一层线性层进行再训练,以强调核心特征(带正则化的逻辑回归)。
- 在多种基准测试(Waterbirds、CelebA、MultiNLI、CivilComments)上评估 DFR,并与现有方法基线(Group DRO、JTT、CnC、SUBG、SSA)进行比较。
- 将 DFR 应用于在 ImageNet 上训练的大型模型,以在几分钟内在单个 GPU 上重新训练,减少背景和纹理偏差。
实验结果
研究问题
- RQ1神经网络在带有虚假相关性的 ERM 训练下,是否仍然在表示中编码出高质量的核心特征并可从表征中解码?
- RQ2仅通过最后一层的再训练是否可以重新加权特征,从而在不重新训练特征提取器的情况下提升最坏组的性能?
- RQ3相较于现有方法,DFR 在标准的虚假相关性基准和大规模视觉-语言任务上表现如何?
- RQ4DFR 对大型 ImageNet 模型对背景的依赖、纹理与形状偏好之间的影响如何?
主要发现
- DFR 通过最后一层再训练对特征重新加权,在带有虚假相关性的基准测试上达到或超过最先进方法。
- 核心特征在潜在表示中存在且可解码,即使虚假特征驱动了 ERM 的预测。
- 在 ImageNet 训练的模型上,DFR 仅需数分钟重新训练即可显著降低对背景和纹理信息的依赖。
- 在 Waterbirds 和 CivilComments 上,使用验证集重加权的 DFR 的表现达到与 Group DRO 和 SSA 相当的顶尖水平。
- DFR 仅需在最后一层使用逻辑回归,提供了一种简单、可扩展的替代方案,避免了更复杂的去偏方法。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。