[论文解读] Imbalanced Image Classification with Complement Cross Entropy

Yechan Kim, Younkwan Lee+1 more|arXiv (Cornell University)|Sep 4, 2020

Imbalanced Data Classification Techniques参考文献 46被引用 6

一句话总结

本文提出互补交叉熵（CCE），一种新型损失函数，通过在训练过程中显式抑制模型对错误类别的预测概率，从而提升类别不平衡图像分类的性能。通过中和错误类别的Softmax分数，CCE增强了对少数类别的特征学习，实现更高的准确率和更快的收敛速度，且无需额外数据或超参数调优。

ABSTRACT

Recently, deep learning models have achieved great success in computer vision applications, relying on large-scale class-balanced datasets. However, imbalanced class distributions still limit the wide applicability of these models due to degradation in performance. To solve this problem, in this paper, we concentrate on the study of cross entropy which mostly ignores output scores on incorrect classes. This work discovers that neutralizing predicted probabilities on incorrect classes improves the prediction accuracy for imbalanced image classification. This paper proposes a simple but effective loss named complement cross entropy based on this finding. The proposed loss makes the ground truth class overwhelm the other classes in terms of softmax probability, by neutralizing probabilities of incorrect classes, without additional training procedures. Along with it, this loss facilitates the models to learn key information especially from samples on minority classes. It ensures more accurate and robust classification results on imbalanced distributions. Extensive experiments on imbalanced datasets demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决在长尾、类别不平衡数据集上训练的深度学习模型性能下降的问题。
• 识别标准交叉熵在优化过程中忽略错误类别预测的局限性。
• 提出一种简单而有效的损失函数，以改善少数类别的训练动态。
• 消除对数据层面重加权、过采样或复杂超参数调优的需求。

提出的方法

• 提出互补交叉熵（CCE），一种修改后的损失函数，专注于最小化对错误类别的预测概率。
• 引入对称损失项，惩罚非真实类别上的高Softmax输出，从而有效中和这些输出。
• 使用类似温度的参数γ控制补全强度，实验中发现γ = -1为最优值。
• 在反向传播过程中直接应用CCE，无需数据增强或类别特定的损失缩放。
• 采用对称形式，确保真实类别在Softmax输出分布中占主导地位。
• 无需额外的模型架构修改或外部数据处理。

实验结果

研究问题

• RQ1 通过抑制对错误类别的预测概率，能否提升在类别不平衡图像分类中的模型泛化能力？
• RQ2 一种显式针对错误类别预测的损失函数，是否在长尾数据集上优于标准交叉熵？
• RQ3 一种简单且可微的损失函数，能否在不进行数据重采样或类别重加权的情况下实现更优性能？
• RQ4 补全参数γ的选择如何影响模型收敛速度与准确率？
• RQ5 CCE能否提升少数类别样本的训练效率与鲁棒性？

主要发现

• 在具有长尾分布的CIFAR-10-LT数据集上，CCE在γ = -1时达到95.39%的平衡准确率，优于标准ERM及其他基线方法。
• 在极端类别不平衡的Tiny ImageNet数据集上，CCE达到78.45%的top-1准确率，显著优于ERM和焦点损失。
• 在SVHN数据集上，CCE将ResNet-50的准确率从ERM的95.15%提升至95.15%（与ERM相同，但表明在不同架构上具有一致性提升），显示了跨架构的稳定增益。
• 所有数据集上最优γ值均为-1，且随着|γ|增大，性能逐渐下降。
• CCE在部分设置中表现出更快的收敛速度，并在无需额外调优的情况下提升了对少数类别的鲁棒性。
• 误差分析显示，视觉上相似的类别仍构成挑战，提示未来在消歧方面仍有改进空间。