[논문 리뷰] Concept Drift and Long-Tailed Distribution in Fine-Grained Visual Categorization: Benchmark and Method

Shuo Ye, Chen, Shiming외 6명|arXiv (Cornell University)|2023. 06. 04.

Data Stream Mining Techniques인용 수 5

한 줄 요약

이 논문은 47개월에 걸쳐 자연 환경에서 수집한 250개의 생물학적 인스턴스에 대한 11,195장의 이미지를 포함하는 CDLT라는 새로운 미세 분류 시각 분류 데이터셋을 소개한다. 이 데이터셋은 개념 이동과 장꼬리 분포를 모두 반영하고 있다. 실험 결과, 모델이 개념 이동 데이터 없이 훈련된 경우 성능이 약 5% 감소함을 확인하여, 이 데이터셋이 FGVC 모델의 실제 세계 도전 과제를 드러내는 데 가치가 있음을 입증한다.

ABSTRACT

Data is the foundation for the development of computer vision, and the establishment of datasets plays an important role in advancing the techniques of fine-grained visual categorization~(FGVC). In the existing FGVC datasets used in computer vision, it is generally assumed that each collected instance has fixed characteristics and the distribution of different categories is relatively balanced. In contrast, the real world scenario reveals the fact that the characteristics of instances tend to vary with time and exhibit a long-tailed distribution. Hence, the collected datasets may mislead the optimization of the fine-grained classifiers, resulting in unpleasant performance in real applications. Starting from the real-world conditions and to promote the practical progress of fine-grained visual categorization, we present a Concept Drift and Long-Tailed Distribution dataset. Specifically, the dataset is collected by gathering 11195 images of 250 instances in different species for 47 consecutive months in their natural contexts. The collection process involves dozens of crowd workers for photographing and domain experts for labeling. Meanwhile, we propose a feature recombination framework to address the learning challenges associated with CDLT. Experimental results validate the efficacy of our method while also highlighting the limitations of popular large vision-language models (e.g., CLIP) in the context of long-tailed distributions. This emphasizes the significance of CDLT as a benchmark for investigating these challenges.

연구 동기 및 목표

• 기존 FGVC 데이터셋이 정적이고 균형 잡힌 클래스 분포를 가정하지만, 실제 세계 조건을 반영하지 못한다는 격차를 보완한다.
• 생물학적 성장이나 환경적 요인으로 인해 인스턴스 외관이 시간에 따라 변화하는 개념 이동이 모델 성능에 미치는 영향을 조사한다.
• 실제 데이터에서 소수의 클래스가 부족하게 나타나는 장꼬리 분포 문제를 드러낸다.
• 동적 시각적 변화와 클래스 불균형에 대한 모델의 강건성 평가를 위한 실용적 벤치마크를 제공한다.
• 시각적 특성이 변화하는 환경에서의 실제 배포 시나리오에 더 잘 일반화하는 FGVC 모델 개발을 촉진한다.

제안 방법

• 47개월에 걸쳐 자연 환경에서 군중 작업자와 도메인 전문가를 활용해 250개의 생물학적 인스턴스에 대한 11,195장의 이미지를 수집한다.
• 시간적 다양성을 확보하기 위해 인스턴스의 다양한 발달 단계와 다양한 조명 및 환경 조건에서 이미지를 촬영한다.
• 포괄적인 모델 훈련 및 평가를 지원하기 위해 바운딩 박스, 부분 수준의 애너테이션, 미세 분류 텍스트 기술을 제공한다.
• 두 가지 훈련 시나리오를 설계한다: 하나는 개념 이동 데이터를 포함하고, 다른 하나는 포함하지 않으며, 훈련 세트 크기를 동일하게 유지하여 이동의 영향을 고립한다.
• 최신 SOTA FGVC 모델들(예: ResNet-50, Inception-v4, NTS-Net)을 두 시나리오 모두에 대해 벤치마크하여 개념 이동으로 인한 성능 저하를 측정한다.
• 상위 1위 및 상위 5위 정확도를 평가 지표로 사용하여 훈련 중에 개념 이동 데이터가 누락되었을 경우의 영향을 정량화한다.

실험 결과

연구 질문

• RQ1 실제 세계의 시각 데이터에서 발생하는 개념 이동이 최신 미세 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ2 훈련 중에 개념 이동 데이터가 누락되었을 경우, 실제 배포 환경에서 모델 정확도가 얼마나 떨어지는가?
• RQ3 실제 데이터의 장꼬리 분포가 모델의 일반화 능력과 특징 학습에 어떤 영향을 미치는가?
• RQ4 기존의 SOTA 모델들이 개념 이동과 장꼬리 분포의 병합된 과제를 효과적으로 다룰 수 있는가?
• RQ5 시간적 및 환경적 변동이 같은 인스턴스의 다양한 시각적 상태 간 모델의 이식 가능성에 어떤 영향을 미치는가?

주요 결과

• 모든 평가된 모델이 개념 이동 데이터가 훈련에서 제외된 경우 상위 1위 정확도에서 약 5%의 일관된 성능 저하를 보였다.
• ResNet-50 모델은 전체 훈련 세트에서 57.83%의 상위 1위 정확도를 기록했지만, 개념 이동 데이터가 제외된 경우 54.13%로 감소했다.
• Inception-v4 모델은 동일 조건에서 상위 1위 정확도가 6.78%포인트 감소했으며(46.07%에서 39.21%로), 이는 개념 이동 데이터 누락의 영향을 명확히 보여준다.
• NTS-Net 모델은 개념 이동 데이터가 포함되지 않은 경우 상위 1위 정확도가 5.32%포인트 감소했으며(74.32%에서 69.00%로), 이 역시 동일한 패턴을 반복한다.
• 다양한 백본에서 개념 이동 데이터의 유무에 따른 성능 격차가 일관되게 유지되어, 이는 체계적인 문제임을 시사한다.
• 이 데이터셋은 높은 내부 클래스 변동성과 높은 외부 클래스 유사성을 드러내어, 실제 FGVC 응용에 있어 도전적인 벤치마크임을 입증한다.