[论文解读] Learning Imbalanced Datasets with Label-Distribution-Aware Margin Loss

Kaidi Cao, Colin Wei+3 more|arXiv (Cornell University)|Jun 18, 2019

Imbalanced Data Classification Techniques参考文献 61被引用 226

一句话总结

论文提出 LDAM 损失以强制类别相关的边距，边距与类别频率成反比，以及一个延期再平衡计划，以在不平衡数据集上提高少数类的泛化能力，在 CIFAR、iNaturalist 和 IMDB 上显示出显著提升。

ABSTRACT

Deep learning algorithms can fare poorly when the training dataset suffers from heavy class-imbalance but the testing criterion requires good generalization on less frequent classes. We design two novel methods to improve performance in such scenarios. First, we propose a theoretically-principled label-distribution-aware margin (LDAM) loss motivated by minimizing a margin-based generalization bound. This loss replaces the standard cross-entropy objective during training and can be applied with prior strategies for training with class-imbalance such as re-weighting or re-sampling. Second, we propose a simple, yet effective, training schedule that defers re-weighting until after the initial stage, allowing the model to learn an initial representation while avoiding some of the complications associated with re-weighting or re-sampling. We test our methods on several benchmark vision tasks including the real-world imbalanced dataset iNaturalist 2018. Our experiments show that either of these methods alone can already improve over existing techniques and their combination achieves even better performance gains.

研究动机与目标

• 激发并解决在不均衡数据集中少数类的泛化能力差的问题。
• 推导逐类边距理论以指导少数类损失函数设计。
• 提出一个实用的 LDAM 损失，使稀有类的边距增大。
• 引入延期再平衡的训练计划，以在加权重时稳定优化。
• 在基准视觉任务和真实世界数据上展示实证收益。

提出的方法

• 推导逐类边距界限，表明最优边距对类别 j 的规模为 n_j^{-1/4}。
• 定义 LDAM 损失，使边距随类别相关，Delta_j = C / n_j^{1/4} 适用于每个类别 j。
• 将对数概率(logits)和最后一层权重归一化到单位长度，以稳定边距调整。
• 提出延期再平衡优化：第一阶段用 LDAM/ERM 训练，第二阶段以较小学习率应用带权重的 LDAM。
• 将 LDAM 与加权或重采样方案（DRW/DRS）结合以提升性能（LDAM-DRW 作为主要流程）。
• 在不平衡版本的 IMDB、CIFAR-10/100、Tiny ImageNet 以及真实世界数据集 iNaturalist 2018 上进行评估。

实验结果

研究问题

• RQ1 在不平衡标签分布下，边距应如何在各类别之间分配以优化泛化？
• RQ2 标签分布感知的边距损失能否在不损害常见类别的情况下提升少数类的性能？
• RQ3 推迟重加权（DRW）是否在应用重加权后能得到更好的特征表示和后续提升？
• RQ4 LDAM 和 DRW 在标准不平衡基准和真实世界数据上能获得哪些实证提升？
• RQ5 LDAM 如何与现有的重加权和重采样技术交互？

主要发现

• LDAM 损失通过对稀有类强制更大的边距来提升少数类的泛化能力（Delta_j ∝ n_j^{-1/4}）。
• 延期再平衡（DRW）训练稳定优化，在随后进行带权重的 LDAM 时可获得显著提升。
• LDAM-DRW 在 IMDB、CIFAR-10/100，以及 iNaturalist 2018 上超越 ERM、加权、重采样和 focal-loss 基线。
• 独立地，LDAM 和 DRW 都带来显著改进；二者结合时效果最好（LDAM-DRW）。
• 在人工不平衡的 CIFAR 变体和真实世界的 iNaturalist 2018 上的实验相比以往最先进方法显示出显著的 Top-1 错误率下降。