[论文解读] Distributional Robustness Loss for Long-tail Learning

Dvir Samuel, Gal Chechik|arXiv (Cornell University)|Apr 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 42被引用 4

一句话总结

本文提出 DRO-LT 损失，一种基于分布鲁棒优化的损失函数，通过在类别中心周围不确定性区域中最小化最坏情况风险，提升了长尾数据中的表示学习。通过学习减少对头部类别偏见的鲁棒表示，同时保持头部类别的准确率，该方法在 CIFAR100-LT、ImageNet-LT 和 iNaturalist 基准上实现了新的 SOTA 性能，显著提升了尾部类别识别效果。

ABSTRACT

Real-world data is often unbalanced and long-tailed, but deep models struggle to recognize rare classes in the presence of frequent classes. To address unbalanced data, most studies try balancing the data, the loss, or the classifier to reduce classification bias towards head classes. Far less attention has been given to the latent representations learned with unbalanced data. We show that the feature extractor part of deep networks suffers greatly from this bias. We propose a new loss based on robustness theory, which encourages the model to learn high-quality representations for both head and tail classes. While the general form of the robustness loss may be hard to compute, we further derive an easy-to-compute upper bound that can be minimized efficiently. This procedure reduces representation bias towards head classes in the feature space and achieves new SOTA results on CIFAR100-LT, ImageNet-LT, and iNaturalist long-tail benchmarks. We find that training with robustness increases recognition accuracy of tail classes while largely maintaining the accuracy of head classes. The new robustness loss can be combined with various classifier balancing techniques and can be applied to representations at several layers of the deep model.

研究动机与目标

• 为解决在长尾数据上训练的深度模型中，特征提取器（主干网络）层存在显著表示偏见这一尚未被充分探索的问题。
• 探究是否通过提升表示质量（超越分类器重加权）可显著提升在长尾基准上的识别性能。
• 开发一种基于鲁棒优化的损失函数，以考虑因样本数量有限而导致的尾部类别表示中的不确定性。
• 推导出一种高效且可微分的分布鲁棒损失的上界，可与标准分类损失联合优化。
• 证明鲁棒表示学习可在不降低头部类别性能的前提下，提升尾部类别准确率。

提出的方法

• 将长尾学习建模为分布鲁棒优化（DRO）问题，使模型在类别中心周围不确定性邻域内的最坏情况分布下仍保持鲁棒性。
• 将每个类别中心周围的不确定性区域定义为半径为 ε 的球体，其中尾部类别的半径更大，以反映少样本下更高的方差。
• 推导出一个解析上可处理且可微分的 DRO 损失上界，使梯度下降可高效优化。
• 为每个类别引入可学习的鲁棒性安全裕度 ε，训练过程中联合优化，避免手动调整超参数。
• 将 DRO-LT 损失与标准交叉熵损失结合，实现表示学习与分类器头调优的联合优化。
• 将该方法应用于网络多个层级的表示，消融实验表明在倒数第二层取得最佳增益。

Figure 1: Our distributional robustness loss is designed for learning a representation where samples are kept close to the centroid of their class. Here, the empirical centroid $\widehat{\mu_{2}}$ (framed pink triangle) is estimated based only on few samples (four pink triangles) and as a result it

实验结果

研究问题

• RQ1 在长尾数据上训练的深度神经网络中，即使在早期层，特征提取器是否仍对头部类别存在显著偏见？
• RQ2 分布鲁棒优化是否能提升长尾学习中头部和尾部类别的表示质量？
• RQ3 是否可以推导出一种高效且可微分的 DRO 损失上界，以支持端到端训练？
• RQ4 是否可以为每个类别联合学习鲁棒性裕度 ε，而无需额外的超参数调优？
• RQ5 提升表示鲁棒性是否能带来尾部类别识别性能的提升，同时保持头部类别的性能？

主要发现

• 即使在早期层，深度网络的特征提取器也对头部类别表现出显著偏见，头部与尾部类别之间的准确率差距在所有层中均持续存在。
• 所提出的 DRO-LT 损失降低了尾部类别在训练与测试误差之间的泛化差距，如图 4 所示，同时保持了头部类别的性能。
• 图 5 的 t-SNE 可视化结果表明，DRO-LT 生成了更紧凑且更清晰分离的特征簇，适用于头部和尾部类别。
• 在不平衡比为 50 的 CIFAR100-LT 上，DRO-LT 达到了新的 SOTA 性能，显著提升了尾部类别准确率，且未牺牲头部类别准确率。
• 模型为尾部类别学习到更大的鲁棒性裕度（ε），反映了其表示中更高的不确定性。
• 该方法在三个基准测试中均实现了稳定的 SOTA 表现：CIFAR100-LT、ImageNet-LT 和 iNaturalist，证明了其广泛适用性。

Figure 2: Learned $\varepsilon$ values for each class of a ResNet-32 trained on CIFAR100-LT with imbalance ratio 50. Blue: Polynomial fit.