[论文解读] Concept Drift and Long-Tailed Distribution in Fine-Grained Visual Categorization: Benchmark and Method

Shuo Ye, Chen, Shiming+6 more|arXiv (Cornell University)|Jun 4, 2023

Data Stream Mining Techniques被引用 5

一句话总结

本文提出了CDLT，一个新颖的细粒度视觉分类数据集，包含在自然环境中历时47个月采集的250个生物实例的11,195张图像，涵盖了概念漂移和长尾类别分布。实验表明，当模型在缺乏概念漂移数据的情况下进行训练时，性能下降约5%，证明了该数据集在揭示FGVC模型真实世界挑战方面的价值。

ABSTRACT

Data is the foundation for the development of computer vision, and the establishment of datasets plays an important role in advancing the techniques of fine-grained visual categorization~(FGVC). In the existing FGVC datasets used in computer vision, it is generally assumed that each collected instance has fixed characteristics and the distribution of different categories is relatively balanced. In contrast, the real world scenario reveals the fact that the characteristics of instances tend to vary with time and exhibit a long-tailed distribution. Hence, the collected datasets may mislead the optimization of the fine-grained classifiers, resulting in unpleasant performance in real applications. Starting from the real-world conditions and to promote the practical progress of fine-grained visual categorization, we present a Concept Drift and Long-Tailed Distribution dataset. Specifically, the dataset is collected by gathering 11195 images of 250 instances in different species for 47 consecutive months in their natural contexts. The collection process involves dozens of crowd workers for photographing and domain experts for labeling. Meanwhile, we propose a feature recombination framework to address the learning challenges associated with CDLT. Experimental results validate the efficacy of our method while also highlighting the limitations of popular large vision-language models (e.g., CLIP) in the context of long-tailed distributions. This emphasizes the significance of CDLT as a benchmark for investigating these challenges.

研究动机与目标

• 填补现有FGVC数据集假设静态、平衡类别分布的空白，这些假设无法反映现实世界条件。
• 研究概念漂移（由于生物生长或环境因素导致实例外观随时间变化）对模型性能的影响。
• 揭示现实世界数据中少数类别代表性不足的长尾类别分布挑战。
• 提供一个实用基准，用于评估模型对动态视觉变化和类别不平衡的鲁棒性。
• 推动开发能够更好地泛化到具有演化视觉特征的实际部署场景中的FGVC模型。

提出的方法

• 使用众包工作者和领域专家，在自然环境中连续47个月采集250个生物实例的11,195张图像。
• 通过在不同发育阶段以及不同光照和环境条件下捕捉实例，确保时间上的多样性。
• 通过边界框、部件级标注和细粒度文本描述对图像进行标注，以支持全面的模型训练与评估。
• 设计两种训练场景：一种包含概念漂移数据，另一种不包含，且两种场景的训练集大小相等，以隔离漂移的影响。
• 在两种训练场景下对最先进FGVC模型（如ResNet-50、Inception-v4、NTS-Net）进行基准测试，以衡量因概念漂移数据缺失导致的性能下降。
• 使用top-1和top-5准确率作为评估指标，量化训练期间缺失概念漂移数据的影响。

实验结果

研究问题

• RQ1 现实世界视觉数据中的概念漂移如何影响最先进细粒度分类模型的性能？
• RQ2 在训练期间缺少概念漂移数据，对模型在真实世界部署中的准确率下降程度有多大？
• RQ3 现实世界数据中类别的长尾分布如何影响模型的泛化能力和特征学习？
• RQ4 现有SOTA模型能否有效应对概念漂移与长尾类别分布的综合挑战？
• RQ5 时间和环境变化在多大程度上会削弱模型对同一实例不同视觉状态之间的迁移能力？

主要发现

• 所有评估的模型在训练时排除概念漂移数据的情况下，top-1准确率均出现约5%的稳定性能下降。
• ResNet-50模型在完整训练集上的top-1准确率为57.83%，但当排除概念漂移数据后下降至54.13%。
• Inception-v4模型在相同条件下top-1准确率下降6.78个百分点（从46.07%降至39.21%）。
• NTS-Net模型在未包含概念漂移数据时，top-1准确率下降5.32个百分点（从74.32%降至69.00%）。
• 在不同主干网络上，包含与不包含概念漂移数据的模型之间性能差距保持稳定，表明这是系统性问题。
• 该数据集揭示了高类内差异性和高类间相似性，使其成为现实世界FGVC应用的具有挑战性的基准。