[论文解读] Long-tail learning via logit adjustment

Aditya Krishna Menon, Sadeep Jayasumana+4 more|arXiv (Cornell University)|Jul 14, 2020

Imbalanced Data Classification Techniques参考文献 63被引用 52

一句话总结

本文提出后验 logits 调整和 logit-adjusted 损失以应对长尾标签分布，提供 Fisher 一致性机会来最小化平衡误差。它统一并改进了先前的长尾方法，并取得强有力的实证结果。

ABSTRACT

Real-world classification problems typically exhibit an imbalanced or long-tailed label distribution, wherein many labels are associated with only a few samples. This poses a challenge for generalisation on such labels, and also makes naïve learning biased towards dominant labels. In this paper, we present two simple modifications of standard softmax cross-entropy training to cope with these challenges. Our techniques revisit the classic idea of logit adjustment based on the label frequencies, either applied post-hoc to a trained model, or enforced in the loss during training. Such adjustment encourages a large relative margin between logits of rare versus dominant labels. These techniques unify and generalise several recent proposals in the literature, while possessing firmer statistical grounding and empirical performance.

研究动机与目标

• 在长尾标签分布中激发并解决泛化挑战。
• 引入两种 logit-adjustment 技巧，使 logit 偏向罕见标签而不牺牲整体性能。
• 为带有 logit 调整的平衡误差建立 Fisher 一致性。
• 在实际长尾数据集上展示相对于现有方法的实证提升。

提出的方法

• Post-hoc logit adjustment 通过 f_y(x) - tau * log pi_y 给 logits 增加一个与标签相关的偏置。
• Logit-adjusted softmax cross-entropy 将类别先验纳入损失中，相当于 g_y(x) = f_y(x) + tau * log pi_y 并训练一个标准评分器。
• 该方法产生一个成对边距损失，Delta_{yy'} = log(pi_{y'}/pi_y) 且具有相应的 alpha，确保带有平衡误差的 Fisher 一致性。
• 比较显示 logit adjustment 是加法性的（而非简单的权重归一化），在不同优化器下通常更鲁棒。
• 提供一个将 softmax 与成对边距扩展的通用框架（Eq. 11）。
• 实现并在基准数据集上评估了 post-hoc 和损失端的 logit 调整。

实验结果

研究问题

• RQ1 logit 调整如何修改 logits 或损失以提升长尾数据集上罕见类别的性能？
• RQ2 post-hoc 与训练时的 logit 调整是否与带有平衡误差的 Fisher 一致性一致？
• RQ3 logit 调整方法相较于现有的后验归一化和损失修改技术在标准长尾基准上如何？
• RQ4 logit 调整方法在 CIFAR (LT)、ImageNet-LT 与 iNaturalist 上取得了哪些实证增益？

主要发现

• logit 调整方法在长尾数据集上对 ERM 及多数基线实现了显著提升。
• post-hoc logit adjustment 常常优于权重归一化，调参 tau 时可获得进一步提升。
• logit-adjusted loss 与 post-hoc 性能相当或超过，并且可带来额外增益。
• 在 CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT 与 iNaturalist 上，logit-adjusted 方法普遍降低了平衡误差相对于基线。
• 这些方法在数据集和优化器选择上表现出鲁棒性，支持带有平衡误差的 Fisher 一致性的理论基础。