[論文レビュー] Retrieval Augmented Classification for Long-Tail Visual Recognition

Alexander Long, Wei Yin+7 more|arXiv (Cornell University)|Feb 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、事前にエンコードされた画像とテキストの外部メモリと統合された検索モジュールを組み合わせることで、標準的な画像分類を強化する、Retrieval Augmented Classification (RAC) を提案する。RAC は、検索ブランチが末尾クラスの表現を暗黙的に学習できるようにすることで、ベースエンコーダーがファインチューニングを必要とせずにヘッドクラスに集中できるようになり、長尾ベンチマークにおいて最先端の性能を達成する。Places365-LT と iNaturalist-2018 では、それぞれ相対的に 14.5% および 6.7% の向上を達成した。

ABSTRACT

We introduce Retrieval Augmented Classification (RAC), a generic approach to augmenting standard image classification pipelines with an explicit retrieval module. RAC consists of a standard base image encoder fused with a parallel retrieval branch that queries a non-parametric external memory of pre-encoded images and associated text snippets. We apply RAC to the problem of long-tail classification and demonstrate a significant improvement over previous state-of-the-art on Places365-LT and iNaturalist-2018 (14.5% and 6.7% respectively), despite using only the training datasets themselves as the external information source. We demonstrate that RAC's retrieval module, without prompting, learns a high level of accuracy on tail classes. This, in turn, frees the base encoder to focus on common classes, and improve its performance thereon. RAC represents an alternative approach to utilizing large, pretrained models without requiring fine-tuning, as well as a first step towards more effectively making use of external memory within common computer vision architectures.

研究の動機と目的

• 希少クラスに不足した学習データと頻度の高いクラスによる支配が生じる長尾視覚認識の課題に対処すること。
• 視覚的知識を保存する明示的で非パラメトリックな外部メモリを導入することで、パラメータの多いモデルへの依存を軽減すること。
• ベースモデルのファインチューニングを必要とせずに、末尾クラスの分類性能を向上させること。
• 検索ベースの拡張が、従来の一貫性ベースやアンサンブルベースのアプローチを上回る可能性があるかを検討すること。

提案手法

• RAC は、標準的なベース画像エンコーダーと、事前にエンコードされた画像と関連するテキストスニペットの非パラメトリック外部メモリを照会する並列の検索ブランチを統合する。
• 検索モジュールは、固定の事前学習済み画像エンコーダー（例：ViT）を用いて画像を埋め込み、テキストエンコーダー（例：BERT風）を用いて関連テキストを符号化することで、クロスモodal 検索を可能にする。
• 推論時、検索モジュールのログチットとベースエンコーダーのログチットが組み合わされ、最終的な予測が得られる。
• 大規模なインデックス上で HNSW を用いた近似 k-NN 検索を用いることで、学習および推論時に関連する画像・テキストペアを効率的に取得する。
• 外部メモリは、訓練データ自体の画像とラベルまたはキャプションから構築されるため、外部データソースの必要がない。
• ベースエンコーダーと検索ブランチの共同学習は、修正された LACE 損失を用いて行われ、検索コンponent のファインチューニングなしにエンド・ツー・エンド最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングなしで、検索ベースのモジュールが長尾視覚認識ベンチマークにおける分類性能を効果的に向上させられるか。
• RQ2 明示的なプロンプトなしで、検索モジュールが自然に末尾クラスに注目するよう学習するか。
• RQ3 外部メモリインデックスのサイズと粒度が、性能にどのように影響するか。
• RQ4 RAC は、損失再重み付けやログチット調整に依存する従来の最先端手法を上回ることができるか。
• RQ5 標準分類パイプラインに検索を統合する際の計算オーバーヘッドはどの程度か。

主な発見

• RAC は Places365-LT ベンチマークで 14.5% の相対的向上、iNaturalist-2018 で 6.7% の相寢的向上を達成し、先行する最先端手法を上回った。
• 明示的なプロンプトなしで、検索モジュールが末尾クラスに注目するよう学習し、ベースエンコーダーの負担を顕著に軽減した。
• 性能向上は、ラベルの粒度に最も敏感であり、既存のラベルにサンプル数を増やすのではなく、独自のラベルを持つ新しいクラスを追加することでより大きな向上が得られた。
• 検索モジュールの導入による訓練時間の増加は 1.5–2 倍に留まり、主にテキストエンコーダーのオーバーヘッドが原因である。
• インデックスサイズは、ある閾値を超えると利得が減少する。これは、ほとんどのクラスがカバーされると、ラベルの情報量が飽和するためである。
• スケーラビリティに優れ、1000万以上のインデックスを 1 台のノード（8 A100 GPU）でリアルタイムに検索可能であり、訓練オーバーヘッドはほとんどない。