[论文解读] Label-Aware Distribution Calibration for Long-tailed Classification

Chaozheng Wang, Shuzheng Gao+5 more|arXiv (Cornell University)|Nov 9, 2021

Anomaly Detection Techniques and Applications参考文献 38被引用 5

一句话总结

该论文提出了一种名为标签感知分布校准（LADC）的新方法，用于长尾分类任务。该方法通过从表示良好、相似的头部类别中迁移统计知识，对尾部类别的特征分布进行校准。通过利用特征空间中的类别间相似性，并从校准后的分布中生成合成样本，LADC显著提升了现有方法在尾部类别的性能，在图像和文本基准数据集上取得了最先进结果。

ABSTRACT

Real-world data usually present long-tailed distributions. Training on imbalanced data tends to render neural networks perform well on head classes while much worse on tail classes. The severe sparseness of training instances for the tail classes is the main challenge, which results in biased distribution estimation during training. Plenty of efforts have been devoted to ameliorating the challenge, including data re-sampling and synthesizing new training instances for tail classes. However, no prior research has exploited the transferable knowledge from head classes to tail classes for calibrating the distribution of tail classes. In this paper, we suppose that tail classes can be enriched by similar head classes and propose a novel distribution calibration approach named as label-Aware Distribution Calibration LADC. LADC transfers the statistics from relevant head classes to infer the distribution of tail classes. Sampling from calibrated distribution further facilitates re-balancing the classifier. Experiments on both image and text long-tailed datasets demonstrate that LADC significantly outperforms existing methods.The visualization also shows that LADC provides a more accurate distribution estimation.

研究动机与目标

• 为解决神经网络在长尾数据集上因数据稀疏性和分布估计偏差导致的尾部类别性能下降问题。
• 探索从头部类别向尾部类别迁移可复用知识，以改善低资源类别的特征分布估计。
• 开发一种基于特征空间中类别间相似性的分布校准机制，以增强尾部类别的表征学习。
• 通过基于校准分布的新采样策略，实现分类器的再平衡，减少过拟合和分布差异。
• 在不依赖重加权或数据增强的前提下，实现在长尾图像和文本分类基准上的最先进性能。

提出的方法

• LADC将训练过程分为两个阶段：首先，使用数据增强（重加权Mixup和RandAugment）训练主干网络，以增强表征学习能力。
• 在第二阶段，针对每个尾部类别，基于特征均值和协方差相似性，识别出最相似的m个头部类别。
• 通过组合最相似头部类别的均值和协方差矩阵，为每个尾部类别计算一个校准后的分布，假设每个维度的特征服从高斯分布。
• 从这些校准后的分布中采样新训练实例，以重新平衡分类器，缓解尾部类别中的数据稀疏问题。
• 引入一种新的分类器再平衡技术——LWS-Plus，进一步利用校准样本提升分类器的校正效果。
• 该方法假设相似类别具有相似的特征统计特性（均值与方差），从而实现从头部类别向尾部类别的知识迁移。

Figure 1: Visualization for the cosine similarities between the means (a) or variances (b) of classes in the feature space of CIFAR10-LT. The feature vectors are computed by the ResNet-32 backbone. The first four classes including $airplane$ , $automobile$ , $bird$ , and $cat$ are head classes, whil

实验结果

研究问题

• RQ1 能否利用特征空间中的类别间相似性来改善长尾类别的分布估计？
• RQ2 从头部类别向尾部类别迁移统计知识是否能提升模型泛化能力并减少偏差？
• RQ3 能否通过来自相似头部类别的校准特征分布来提升尾部类别的性能，而无需依赖传统重加权或数据增强方法？
• RQ4 与现有两阶段训练方法相比，标签感知的分布校准在尾部类别准确率和分布差异缓解方面表现如何？
• RQ5 基于校准分布的采样策略在多大程度上减少了过拟合并改善了分类器的再平衡？

主要发现

• 在不平衡因子为200的CIFAR100-LT数据集上，LADC使用cRT方法实现了55.24%的top-1准确率，优于次优方法LAS的2.12个百分点。
• 在不平衡因子为100的CIFAR100-LT数据集上，LADC使用LWS-Plus方法达到54.00%的准确率，较基线LWS方法高出1.41个百分点。
• LADC在多种不平衡因子（200、100、50）下均表现出一致的性能提升，显示出对不同程度长尾偏态的鲁棒性。
• 可视化结果表明，LADC通过将尾部类别的特征统计与相似头部类别的特征统计对齐，提供了更精确的分布估计。
• 该方法在图像和文本长尾分类数据集上均实现了最先进性能，验证了其在不同领域的泛化能力。
• 消融实验表明，分布校准与LWS-Plus的结合优于单独使用任一组件，能实现更优的分类器再平衡。

Figure 2: Overview of our proposed LADC method. In Stage 1, we train the backbone with Representation Enhancement. In Stage 2, we freeze the backbone and modify the classifier by re-sampling with distribution calibration and LWS-Plus training.