[論文レビュー] Concept Drift and Long-Tailed Distribution in Fine-Grained Visual Categorization: Benchmark and Method

Shuo Ye, Chen, Shiming+6 more|arXiv (Cornell University)|Jun 4, 2023

Data Stream Mining Techniques被引用数 5

ひとこと要約

本論文では、自然環境で47か月にわたり収集された250種の生物学的サンプルの11,195枚の画像を含む、CDLTと呼ばれる新しい細分化視覚分類データセットを紹介する。このデータセットは、概念のずれ（concept drift）と長尾分布を捉えており、実世界の課題を露呈する。実験の結果、モデルが概念のずれデータを含まないで学習した場合、性能が5%低下することが判明し、本データセットがFGVCモデルの現実世界への適用における課題を明らかにする価値を持つことが示された。

ABSTRACT

Data is the foundation for the development of computer vision, and the establishment of datasets plays an important role in advancing the techniques of fine-grained visual categorization~(FGVC). In the existing FGVC datasets used in computer vision, it is generally assumed that each collected instance has fixed characteristics and the distribution of different categories is relatively balanced. In contrast, the real world scenario reveals the fact that the characteristics of instances tend to vary with time and exhibit a long-tailed distribution. Hence, the collected datasets may mislead the optimization of the fine-grained classifiers, resulting in unpleasant performance in real applications. Starting from the real-world conditions and to promote the practical progress of fine-grained visual categorization, we present a Concept Drift and Long-Tailed Distribution dataset. Specifically, the dataset is collected by gathering 11195 images of 250 instances in different species for 47 consecutive months in their natural contexts. The collection process involves dozens of crowd workers for photographing and domain experts for labeling. Meanwhile, we propose a feature recombination framework to address the learning challenges associated with CDLT. Experimental results validate the efficacy of our method while also highlighting the limitations of popular large vision-language models (e.g., CLIP) in the context of long-tailed distributions. This emphasizes the significance of CDLT as a benchmark for investigating these challenges.

研究の動機と目的

• 既存のFGVCデータセットが静的でバランスの取れたクラス分布を仮定している点に起因するギャップを埋める。これは現実世界の状況を反映していない。
• 生物学的成長や環境要因によるインスタンスの外観変化（概念のずれ）がモデル性能に与える影響を調査する。
• 現実世界のデータにおいて少数クラスが過小表現されるという長尾クラス分布の課題を明らかにする。
• 動的な視覚的変化とクラスの不均衡に対するモデルの頑健性を評価する実用的なベンチマークを提供する。
• 進化する視覚的特徴を伴う現実世界の展開環境に適応できるFGVCモデルの開発を促進する。

提案手法

• 47か月にわたり自然環境で、クラウドワーカーとドメイン専門家を用いて、250種の生物学的インスタンスの11,195枚の画像を収集する。
• 時間的多様性を確保するため、発達段階や照明・環境条件の異なる状況でインスタンスを撮影する。
• 画像にバウンディングボックス、部位レベルのアノテーション、細分化されたテキスト記述を付与し、包括的なモデル学習と評価を支援する。
• 2つの学習シナリオを設計する：1つは概念のずれデータを含み、もう1つは含まない。両者の学習セットサイズを同一にすることで、ずれの影響を明確に分離する。
• 最先端のFGVCモデル（例：ResNet-50、Inception-v4、NTS-Net）を2つのシナリオでベンチマーク化し、概念のずれデータが欠落した場合の性能低下を測定する。
• トップ1正解率とトップ5正解率を評価指標として用い、学習時に概念のずれデータが欠落した場合の影響を定量化する。

実験結果

リサーチクエスチョン

• RQ1 現実世界の視覚データにおける概念のずれが、最先端の細分化分類モデルの性能にどのように影響するか？
• RQ2 学習時に概念のずれデータが欠落している場合、実世界での展開においてモデルの正解率がどの程度低下するか？
• RQ3 現実世界のデータにおけるクラスの長尾分布が、モデルの一般化性能と特徴学習に与える影響は何か？
• RQ4 既存の最先端モデルは、概念のずれと長尾クラス分布の両方の課題を効果的に処理できるか？
• RQ5 時間的および環境的変動が、同じインスタンスの異なる視覚的状態間でのモデルの汎化性をどの程度損なうか？

主な発見

• 評価されたすべてのモデルが、概念のずれデータが学習に含まれない場合、トップ1正解率で約5%の一貫した性能低下を示した。
• ResNet-50モデルは、全学習セットで57.83%のトップ1正解率を達成したが、概念のずれデータが欠落した場合、54.13%に低下した。
• Inception-v4モデルは、同じ条件下でトップ1正解率が6.78ポイント低下（46.07%から39.21%）した。
• NTS-Netモデルは、概念のずれデータが含まれない場合、トップ1正解率が5.32ポイント低下（74.32%から69.00%）した。
• 異なるバックボーンを用いたモデル間で、概念のずれデータの有無による性能差が安定しており、システム的な問題であることが示された。
• 本データセットは、クラス内変動が高く、クラス間の類似性も顕著であるため、現実世界のFGVC応用において挑戦的なベンチマークであることが明らかになった。