[论文解读] Is Importance Weighting Incompatible with Interpolating Classifiers?

Ke Alexander Wang, Niladri S. Chatterji+2 more|arXiv (Cornell University)|Dec 24, 2021

Neural Networks and Applications被引用 4

一句话总结

本文通过表明指数尾部损失（如交叉熵）会抑制重要性权重的影响，解决了重要性权重在过参数化模型中无效的悖论。作者提出使用多项式尾部损失以恢复重要性权重的校正能力，理论和实证结果表明，结合此类损失的指数重要性权重可提升在标签分布偏移和子群体分布偏移下的泛化性能，测试准确率最高比重加权交叉熵高出9%。

ABSTRACT

Importance weighting is a classic technique to handle distribution shifts. However, prior work has presented strong empirical and theoretical evidence demonstrating that importance weights can have little to no effect on overparameterized neural networks. Is importance weighting truly incompatible with the training of overparameterized neural networks? Our paper answers this in the negative. We show that importance weighting fails not because of the overparameterization, but instead, as a result of using exponentially-tailed losses like the logistic or cross-entropy loss. As a remedy, we show that polynomially-tailed losses restore the effects of importance reweighting in correcting distribution shift in overparameterized models. We characterize the behavior of gradient descent on importance weighted polynomially-tailed losses with overparameterized linear models, and theoretically demonstrate the advantage of using polynomially-tailed losses in a label shift setting. Surprisingly, our theory shows that using weights that are obtained by exponentiating the classical unbiased importance weights can improve performance. Finally, we demonstrate the practical value of our analysis with neural network experiments on a subpopulation shift and a label shift dataset. When reweighted, our loss function can outperform reweighted cross-entropy by as much as 9% in test accuracy. Our loss function also gives test accuracies comparable to, or even exceeding, well-tuned state-of-the-art methods for correcting distribution shifts.

研究动机与目标

• 解决为何在理论上成立的重要性权重在过参数化插值分类器中会失效的悖论。
• 识别该失效的根本原因，作者表明这是由于使用了交叉熵等指数尾部损失，而非过参数化本身。
• 提出一种使用多项式尾部损失的新训练目标，以在梯度下降过程中保持重要性权重的影响。
• 通过理论和实证验证，证明在多项式尾部损失下使用指数重要性权重可提升在标签偏移和子群体偏移设置下的泛化性能。
• 在神经网络上展示该方法在纠正分布偏移方面优于重加权交叉熵和最先进方法的实用性优势。

提出的方法

• 提出一种新损失函数，其尾部呈多项式衰减而非指数衰减，如逻辑回归或交叉熵损失。
• 使用指数重要性权重，即将权重提升到幂 $ c $，其中 $ c > 1 $，以增强罕见但重要样本的影响。
• 理论分析表明，梯度下降在多项式尾部损失上收敛至一个依赖于数据和重要性权重的方向，而非最大间隔分类器。
• 对整个训练集上的重要性权重进行归一化，以稳定训练，避免小批量训练中的不稳定性。
• 在神经网络中应用该方法，基于重要性加权验证准确率使用早停策略，以防止过拟合。
• 使用从训练集和测试集中的组频率计算出的无偏重要性权重，经指数化和归一化处理，以确保优化稳定。

实验结果

研究问题

• RQ1 为何在使用交叉熵等指数尾部损失训练的过参数化模型中，重要性权重会失效？
• RQ2 能否通过修改损失函数结构，在插值模型中恢复重要性权重的有效性？
• RQ3 在多项式尾部损失下使用指数重要性权重是否能提升在标签偏移下的泛化性能？
• RQ4 在线性模型中，最小化重加权多项式尾部损失时，梯度下降的隐式偏差是什么？
• RQ5 该方法能否在神经网络上纠正分布偏移方面优于重加权交叉熵和最先进方法？

主要发现

• 过参数化模型中重要性权重失效的根本原因在于使用了指数尾部损失，而非过参数化本身。
• 多项式尾部损失恢复了重要性权重的影响，使梯度下降能够收敛至依赖于数据和权重的方向。
• 在使用指数重要性权重时，分类器在标签偏移下的测试误差在样本量足够大时可衰减至零，而最大间隔分类器的测试误差存在1/8的下界。
• 在类别不平衡的二值CIFAR10数据集上，所提方法实现67.3%的平均测试准确率，优于重加权交叉熵（57.8%），并达到或超过最先进方法。
• 在存在虚假相关性的子采样CelebA数据集上，该方法实现82.4%的平均测试准确率和53.3%的最差组准确率，优于重加权交叉熵（79.3%和43.1%），并可与或超越基于DRO的方法。
• 在某些设置中，与重加权交叉熵相比，该方法将测试准确率最高提升了9%，展现出显著的实际性能增益。