[论文解读] Long-Tailed Classification with Gradual Balanced Loss and Adaptive Feature Generation

Zihan Zhang, Xiang Xiang|arXiv (Cornell University)|Feb 28, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出GLAG，一种用于长尾图像分类的两阶段框架，首先使用渐进平衡损失（GraLoss）训练一个鲁棒的特征模型，然后通过自适应特征生成器（AFG）为低频类生成自适应、类别特定的特征。GLAG在CIFAR100-LT、ImageNetLT和iNaturalist上实现了最先进性能，通过动态置信度校准和知识蒸馏，提升了特征表示能力并平衡了类别分布。

ABSTRACT

The real-world data distribution is essentially long-tailed, which poses great challenge to the deep model. In this work, we propose a new method, Gradual Balanced Loss and Adaptive Feature Generator (GLAG) to alleviate imbalance. GLAG first learns a balanced and robust feature model with Gradual Balanced Loss, then fixes the feature model and augments the under-represented tail classes on the feature level with the knowledge from well-represented head classes. And the generated samples are mixed up with real training samples during training epochs. Gradual Balanced Loss is a general loss and it can combine with different decoupled training methods to improve the original performance. State-of-the-art results have been achieved on long-tail datasets such as CIFAR100-LT, ImageNetLT, and iNaturalist, which demonstrates the effectiveness of GLAG for long-tailed visual recognition.

研究动机与目标

• 为解决深度学习中长尾数据分布的问题，即头部类别主导而尾部类别样本不足。
• 通过用更平衡的损失函数替代标准交叉熵，提升解耦训练中特征模型的鲁棒性。
• 利用头部类别的知识，为尾部类别生成高质量、类别特定的合成样本，从而恢复类别分布平衡。
• 开发一种自适应机制，动态调整特征生成过程中的置信度分数，避免手动超参数调优。
• 在多种长尾数据集和现有解耦训练框架中，验证所提方法的泛化能力。

提出的方法

• 提出渐进平衡损失（GraLoss），一种重加权策略，通过可调超参数α动态调整分类器logits，以改善头部和尾部类别中的特征学习。
• 采用两阶段训练流程：首先使用GraLoss训练特征主干网络；其次固定特征模型，使用真实样本和生成样本微调分类器。
• 提出自适应特征生成器（AFG），利用类别特定的置信度分数β生成尾部类别的合成特征，其中β根据验证准确率自适应更新。
• 在第二阶段对头部类别应用知识蒸馏损失，以稳定训练并平衡所有类别间的性能。
• 采用基于置信度的自适应策略调整β，避免手动调参，实现每类灵活的分布校准。
• 将GraLoss与现有解耦训练方法（如cRT、LWS、MiSLAS）结合，验证其泛化能力和兼容性。

实验结果

研究问题

• RQ1 一种能动态调整logits的改进型交叉熵损失，是否能提升解耦训练中长尾分类的特征模型性能？
• RQ2 利用头部类别知识生成尾部类别的合成特征，是否能比标准数据增强带来更好的泛化性能？
• RQ3 对生成样本的自适应置信度校准，是否能优于固定或启发式置信度设置？
• RQ4 与现有重加权和数据增强技术相比，所提方法在头部、中等和尾部类别上的准确率和鲁棒性表现如何？
• RQ5 所提方法在不同长尾数据集和解耦训练框架中的泛化能力有多强？

主要发现

• GraLoss在CIFAR100-LT上使用多种解耦训练方法时，优于标准交叉熵和logit调整损失，准确率提升0.2%–0.8%。
• 在CIFAR100-LT的长尾设置（每类样本数为100, 50, 20, 10）下，使用GraLoss和自适应置信度时，GLAG平均准确率达到51.7%，优于基线方法。
• 采用自适应β的自适应特征生成器在CIFAR100-LT上实现33.9%的少样本类别准确率，优于固定置信度和非自适应方法。
• 知识蒸馏损失有助于平衡各类性能，减少尾部类别性能下降，同时提升整体准确率。
• GLAG在ImageNetLT和iNaturalist上达到最先进性能，证明其在多样化真实世界长尾数据集上的强大泛化能力。
• 消融实验表明，结合GraLoss、AFG和知识蒸馏可获得最佳结果，且自适应置信度机制相比静态设置显著提升性能。