[论文解读] Cross-Domain Empirical Risk Minimization for Unbiased Long-tailed Classification

Beier Zhu, Yulei Niu+2 more|arXiv (Cornell University)|Dec 28, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出了一种新型训练范式——跨域经验风险最小化（xERM），通过联合最小化在数据分布不平衡和平衡的两个数据集上的经验风险，实现无偏的长尾分类。xERM结合了不平衡领域的真实标签与平衡模型的预测结果，学习到鲁棒且公平的特征表示，在长尾和平衡测试集上均优于当前最先进方法，表明性能提升源于特征表示的改进，而非偏差的操纵。

ABSTRACT

We address the overlooked unbiasedness in existing long-tailed classification methods: we find that their overall improvement is mostly attributed to the biased preference of tail over head, as the test distribution is assumed to be balanced; however, when the test is as imbalanced as the long-tailed training data -- let the test respect Zipf's law of nature -- the tail bias is no longer beneficial overall because it hurts the head majorities. In this paper, we propose Cross-Domain Empirical Risk Minimization (xERM) for training an unbiased model to achieve strong performances on both test distributions, which empirically demonstrates that xERM fundamentally improves the classification by learning better feature representation rather than the head vs. tail game. Based on causality, we further theoretically explain why xERM achieves unbiasedness: the bias caused by the domain selection is removed by adjusting the empirical risks on the imbalanced domain and the balanced but unseen domain. Codes are available at https://github.com/BeierZhu/xERM.

研究动机与目标

• 解决现有长尾分类方法中被忽视的偏差问题，这些方法根据测试分布假设，倾向于‘头’类或‘尾’类。
• 提出一种训练范式，在不平衡与平衡测试分布上均实现无偏性能，而非仅针对平衡测试集进行优化。
• 通过实证与理论分析证明，性能提升源于更优的特征表示，而非头尾类别间偏差的转移。
• 提供一个因果框架，消除长尾学习中由领域选择引起的混淆偏差。

提出的方法

• xERM结合了两项经验风险最小化损失：一项使用不平衡训练领域的真实标签，以保持头类性能；另一项使用平衡模型的预测结果，以缓解尾类欠拟合。
• 通过自适应加权联合优化这两项损失，避免过度强调任一领域，确保偏差缓解的平衡性。
• 引入因果框架，正式消除由领域选择导致的混淆偏差，其中两个领域在训练中无法共现。
• 该方法利用平衡模型的预测结果作为未见平衡领域的代理，使模型在无需实际平衡数据参与训练的情况下，学习到公平的先验。
• 该方法与多种主干网络架构兼容，可应用于RIDE等集成模型，无需架构修改即可提升性能。

实验结果

研究问题

• RQ1 当前长尾分类性能的提升是否真实存在，还是仅表现为从‘头’类向‘尾’类的偏差转移？
• RQ2 模型能否在不平衡与平衡测试分布上同时实现优异性能，而不偏向任一类型？
• RQ3 现有方法的性能增益是源于更好的特征表示，还是仅仅通过重加权类别偏差实现？
• RQ4 因果框架能否有效消除长尾学习中由领域选择引起的偏差？

主要发现

• xERM在多个基准测试中，包括ImageNet-LT、Places365-LT和iNaturalist 2018，均在长尾和平衡测试集上达到SOTA性能。
• 在iNaturalist 2018数据集上，xERM ${}_{\!P\!C}$ 的多shot召回率达到70.4%，显著优于其他平衡模型（如BBN，仅49.4%）。
• 在CIFAR100-LT-IB-100上，xERM ${}_{\!T\!D\!E}$ 在100的类别不平衡比下达到62.2%的top-1准确率，优于所有基线模型在各类样本量下的表现。
• 在Places365-LT上，xERM保持54.2%的高精确率与F1分数，综合性能超越XE（精确率：39.9%）与PC（精确率：73.3%）。
• 消融实验表明，xERM的性能增益源于改进的特征表示，而非仅分类器重加权；仅微调分类器的模型仅带来微小提升。
• 在RIDE等集成模型中，xERM在所有样本量区间内均持续提升准确率、召回率与F1分数，创下新的SOTA结果。