[论文解读] Novel Class Discovery for Long-tailed Recognition

Chuyu Zhang, Xu Ruijie+1 more|arXiv (Cornell University)|Aug 6, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文提出了一种新颖的自适应自标签化框架，用于长尾新类发现（NCD），其中已知类和新类均遵循长尾分布。通过将伪标签生成建模为松弛最优传输问题，并结合等角原型表示学习，该方法减少了类别偏差，在CIFAR100、ImageNet100、Herbarium19和iNaturalist18上实现了最先进性能，尤其在尾部类别上显著提升了准确率。

ABSTRACT

While the novel class discovery has recently made great progress, existing methods typically focus on improving algorithms on class-balanced benchmarks. However, in real-world recognition tasks, the class distributions of their corresponding datasets are often imbalanced, which leads to serious performance degeneration of those methods. In this paper, we consider a more realistic setting for novel class discovery where the distributions of novel and known classes are long-tailed. One main challenge of this new problem is to discover imbalanced novel classes with the help of long-tailed known classes. To tackle this problem, we propose an adaptive self-labeling strategy based on an equiangular prototype representation of classes. Our method infers high-quality pseudo-labels for the novel classes by solving a relaxed optimal transport problem and effectively mitigates the class biases in learning the known and novel classes. We perform extensive experiments on CIFAR100, ImageNet100, Herbarium19 and large-scale iNaturalist18 datasets, and the results demonstrate the superiority of our method. Our code is available at https://github.com/kleinzcy/NCDLR.

研究动机与目标

• 解决真实视觉识别中的空白，提出一种更贴近现实的NCD设置，其中已知类和新类均为长尾分布。
• 克服现有NCD方法的局限性，这些方法假设类别分布均衡，但在严重类别不平衡下表现不佳。
• 开发一个统一的学习框架，减轻长尾已知类别和不平衡新类别中的表示偏差。
• 实现在真实场景中未知数量和不平衡大小的新类别有效发现。
• 在通常在不平衡设置下学习不足的尾部和中等类别上实现卓越性能。

提出的方法

• 将新类的伪标签生成建模为松弛最优传输问题，以实现自适应、低偏差的标签分配。
• 引入基于等角原型的分类头，以减少长尾已知类别学习中的监督偏差。
• 设计一种双层优化算法，交替进行软伪标签生成和表示学习，实现联合优化。
• 使用参数化的不平衡因子 w(τ) 动态调整聚类大小估计，相较于固定或可学习的 w，提升了稳定性和性能。
• 提出一种新颖方法，在缺乏先验知识的情况下估计新类的数量，增强了实际应用性。
• 使用无监督预训练和统一损失函数联合训练深度神经网络，同时优化已知类和新类，结合对比学习与自标签化目标。

实验结果

研究问题

• RQ1 一种新类发现框架能否有效处理已知类和新类中均存在的长尾分布，而非假设数据均衡？
• RQ2 在新类发现中，如何使伪标签分配具备自适应性并能抵御类别不平衡的影响？
• RQ3 等角原型是否能减少长尾已知类别学习中的表示偏差，同时支持不平衡新类的聚类？
• RQ4 在不平衡设置下，伪标签生成的松弛最优传输公式是否优于固定先验或均匀分配？
• RQ5 一种端到端、自估计新类数量的方法在真实部署中是否有效？

主要发现

• 所提方法在所有评估基准上均达到最先进性能，包括CIFAR100、ImageNet100、Herbarium19和iNaturalist18。
• 在ImageNet100上，当 R^s=50 且 R^u=50 时，该方法实现61.48%的新类准确率，显著优于均匀先验基线（57.40%）和真实先验（42.40%）。
• 与真实先验基线相比，该方法将尾部类别准确率提升了38.46个百分点，证明了其在缓解类别偏差方面的强大能力。
• 自适应 w(τ) 参数化相比直接优化 k 维 w 表现更优，尾部准确率达到53.07%，而真实先验下仅为14.27%。
• t-SNE可视化结果表明，等角原型生成的特征聚类更紧凑、分离度更高，尤其在尾部类别上表现更优。
• 迭代式双层优化过程有效缓解了对噪声伪标签的过拟合，并提升了在头部、中等和尾部类别上的泛化能力。