[论文解读] Out-of-distribution Generalization in the Presence of Nuisance-Induced Spurious Correlations

Aahlad Puli, Lily H. Zhang+2 more|arXiv (Cornell University)|Jun 29, 2021

COVID-19 diagnosis using AI被引用 5

一句话总结

本文提出干扰随机蒸馏（NuRD），一种通过学习对干扰引起的虚假相关性不变的表征来提升分布外泛化能力的方法。NuRD首先通过随机化干扰-标签依赖关系，构建干扰随机分布，然后在该分布下蒸馏出能最大化标签信息的表征，从而确保在不同干扰-标签关系下均具备鲁棒性能，在X光肺炎分类和水鸟识别任务中均取得显著的实证提升。

ABSTRACT

In many prediction problems, spurious correlations are induced by a changing relationship between the label and a nuisance variable that is also correlated with the covariates. For example, in classifying animals in natural images, the background, which is a nuisance, can predict the type of animal. This nuisance-label relationship does not always hold, and the performance of a model trained under one such relationship may be poor on data with a different nuisance-label relationship. To build predictive models that perform well regardless of the nuisance-label relationship, we develop Nuisance-Randomized Distillation (NURD). We introduce the nuisance-randomized distribution, a distribution where the nuisance and the label are independent. Under this distribution, we define the set of representations such that conditioning on any member, the nuisance and the label remain independent. We prove that the representations in this set always perform better than chance, while representations outside of this set may not. NURD finds a representation from this set that is most informative of the label under the nuisance-randomized distribution, and we prove that this representation achieves the highest performance regardless of the nuisance-label relationship. We evaluate NURD on several tasks including chest X-ray classification where, using non-lung patches as the nuisance, NURD produces models that predict pneumonia under strong spurious correlations.

研究动机与目标

• 为解决因干扰变量与标签之间的关系在不同分布间发生变化，导致的分布外泛化性能差的问题。
• 开发一种方法，确保预测模型在测试分布中干扰与标签相关性变化时仍能保持高性能。
• 形式化定义一种分布——干扰随机分布，其中干扰与标签相互独立，从而能够识别对干扰-标签依赖关系变化具有鲁棒性的表征。
• 证明在未相关集合（即标签与干扰在给定表征下条件独立）中的表征，其性能始终不低于边缘预测性能，并识别出最优此类表征。
• 在图像分类任务中对NuRD进行实证验证，这些任务中存在强虚假相关性，包括胸部X光肺炎分类和水鸟与陆地鸟的分类。

提出的方法

• 引入干扰随机分布，使干扰变量与标签在统计上相互独立，以解耦虚假依赖关系。
• 将未相关集合定义为在干扰随机分布下，标签与干扰在给定表征下仍保持条件独立的表征集合。
• 提出NuRD作为两阶段方法：第一阶段通过生成模型或重加权实现干扰随机化，构建干扰与标签独立的数据；第二阶段通过蒸馏，寻找在未相关集合中与标签互信息最大的表征。
• 使用正则化训练目标，惩罚表征、干扰与标签之间的联合依赖关系，通过超参数λ平衡信息增益与独立性约束。
• 通过估计干扰值的逆概率，采用基于重加权的干扰随机化方法，对训练样本进行重加权，以近似干扰随机分布。
• 训练学生模型仅使用蒸馏后的表征来预测标签，确保其在分布族中不同干扰-标签关系下均具备泛化能力。

实验结果

研究问题

• RQ1 我们能否构建一种表征，使其在干扰变化的分布族中均能良好泛化，即使干扰-标签关系发生变化？
• RQ2 在干扰随机分布下学习表征是否能保证比标准经验风险最小化（ERM）具有更好的分布外性能？
• RQ3 我们能否识别出一种表征，它既满足未相关性（在给定表征下与干扰条件独立），又在干扰随机分布下对标签具有最大信息量？
• RQ4 在存在强干扰诱导虚假相关性的场景下（如医学影像或动物分类），NuRD与标准ERM相比表现如何？
• RQ5 哪些超参数设置（如λ）能确保NuRD的优化稳定并实现鲁棒性能？

主要发现

• 在水鸟分类任务中，NuRD在使用56像素边框作为干扰时，测试准确率达到81%，显著优于ERM的66%。
• 在胸部X光肺炎分类任务中，NuRD生成的模型在医院特异性成像协议引发的强虚假相关性下仍保持高性能。
• 在测试分布与训练分布发散程度逐渐增加（ρ = 0.5, 0.7, 0.9）的情况下，NuRD保持了稳定的性能，而ERM的准确率随干扰-标签关系变化而急剧下降。
• 当λ = 5（高于默认的λ = 1）时，NuRD在水鸟任务上平均测试准确率达到76%，在类别条件高斯分布上达到61%，但部分运行因优化不稳定性而失败，表明对λ调优较为敏感。
• 在无干扰诱导虚假相关性的设定下（干扰恒定），NuRD与ERM表现几乎相同（88% vs. 89%准确率），验证了当不存在虚假相关性时，NuRD不会降低性能。
• 仅当λ的选择使优化保持稳定时，蒸馏损失与验证性能才与边缘预测保持足够距离，表明正则化强度与模型性能之间存在权衡。