[論文レビュー] iCAR: Bridging Image Classification and Image-text Alignment for Visual Recognition

Yixuan Wei, Yue Cao+5 more|arXiv (Cornell University)|Apr 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文は、線形分類器をコサイン分類器に置き換えることで、画像分類と画像・テキストアライメントを統合する深層融合フレームワークiCARを提案する。共有テキストエンコーダーをメタネットワークとして用い、分類器重みを生成し、クラス名を記述的プロンプトで豊かにすることで、画像分類、アクション認識、オブジェクト検出、セマンティックセグメンテーションの分野でゼロショット、フェイントショット、ファインチューニング設定において、個別タスク学習および浅いマルチタスクベースラインを上回る最先端の性能を達成する。

ABSTRACT

Image classification, which classifies images by pre-defined categories, has been the dominant approach to visual representation learning over the last decade. Visual learning through image-text alignment, however, has emerged to show promising performance, especially for zero-shot recognition. We believe that these two learning tasks are complementary, and suggest combining them for better visual learning. We propose a deep fusion method with three adaptations that effectively bridge two learning tasks, rather than shallow fusion through naive multi-task learning. First, we modify the previous common practice in image classification, a linear classifier, with a cosine classifier which shows comparable performance. Second, we convert the image classification problem from learning parametric category classifier weights to learning a text encoder as a meta network to generate category classifier weights. The learnt text encoder is shared between image classification and image-text alignment. Third, we enrich each class name with a description to avoid confusion between classes and make the classification method closer to the image-text alignment. We prove that this deep fusion approach performs better on a variety of visual recognition tasks and setups than the individual learning or shallow fusion approach, from zero-shot/few-shot image classification, such as the Kornblith 12-dataset benchmark, to downstream tasks of action recognition, semantic segmentation, and object detection in fine-tuning and open-vocabulary settings. The code will be available at https://github.com/weiyx16/iCAR.

研究の動機と目的

• 視覚表現学習における画像分類と画像・テキストアライメントの強みを統合することで、独立した画像分類と画像・テキストアライメントの限界を克服すること。
• 画像分類の欠点（カテゴリカバー範囲の制限や曖昧なクラス名）を、画像・テキストアライメントの豊かな意味的表現を用いて克服すること。
• 対照的事前学習のオープンボリューム能力を画像分類と統合することで、ゼロショットおよびフェイントショット一般化を向上させること。
• 特にオープンボリューム認識を想定したタスクにおいて、視覚的およびテキストエンコーダーを共同で最適化することで、下流タスクにおける有効なファインチューニングを可能にすること。
• 深層融合が、浅いマルチタスク学習よりも多様なビジョンベンチマークで優れたパフォーマンスをもたらすことを実証すること。

提案手法

• 画像分類における標準的な線形分類器を、線形分類器と同等またはそれを上回る性能を発揮しつつ、画像・テキストアライメントと共有メトリクス空間を実現するコサイン分類器に置き換える。
• 画像分類を、分類器重みを生成するメタネットワークとして機能するテキストエンコーダーを学習するタスクに再定式化することで、共有表現空間を実現する。
• 各クラス名に記述的文（例：「夜の鳥の写真、夜に関連するすべての鳥：フクロウ、ナツバト、ナイトハワイト」）を追加することで、意味的明確性を向上させ、入力の粒度を画像・テキストペアと一致させる。
• 画像分類と画像・テキスト対照学習の両方で、視覚的およびテキストエンコーダーを共有し、両タスクのメトリクスとしてコサイン類似度を用いる。
• 下流タスクにおいて、視覚的およびテキストエンコーダーを共同でファインチューニングすることで、オープンボリュームおよび細分化分類への適応性を向上させる。
• LVIS、COCO、その他の検出ベンチマークでのファインチューニングに、マルチスケールトレーニングスケジュールおよびコサイン学習率スケジューリングを採用する。

実験結果

リサーチクエスチョン

• RQ1 画像分類と画像・テキストアライメントの深層統合は、個別学習や浅いマルチタスク学習を上回る性能を発揮できるか？
• RQ2 線形分類器をコサイン分類器に置き換え、共有テキストエンコーダーをメタネットワークとして用いることで、ゼロショットおよびフェイントショット一般化が向上するか？
• RQ3 クラス名に記述的プロンプトを追加することで、曖昧性がどの程度低減され、画像・テキスト学習との整合性が向上するか？
• RQ4 視覚的およびテキストエンコーダーの共同ファインチューニングは、オブジェクト検出やアクション認識といった下流タスク、特にオープンボリューム設定においてどの程度効果的か？
• RQ5 統合フレームワークは、追加のアノテーションを必要とせず、完全に教師ありのファインチューニングと同等のパフォーマンスを達成できるか？

主な発見

• Kornblith 12データセットベンチマークでは、iCARはCLIPやVL-Laionを上回る最先端のゼロショットおよびフェイントショット精度を達成する。
• Kinetics-400では、視覚的およびテキストエンコーダーを共同でファインチューニングしたiCARが、視覚エンコーダーのみを更新する標準的なファインチューニング（83.1%）と同等の83.2%のトップ1精度を達成する。
• Kinetics-600では、K400でファインチューニングした後、59.5%のトップ1精度を達成し、ゼロショットベースラインから+15.8%の向上を示し、強力なオープンボリューム一般化能力を示す。
• COCOでは、iCARはアノテーションを一切使用せず、オープンボリュームオブジェクト検出で41.2 mAPを達成し、ImageNet-22K事前学習を用いた完全な教師ありファインチューニング（48.6 mAP）から7.4ポイントの差を示す。
• LVISでは、iCARが38.5 mAPを達成し、ベースラインから+0.6 mAPの向上を示し、長尾分布および細分化認識においても性能向上を確認する。
• UCF101およびHMDB51では、iCARがそれぞれ+11.6%および+4.2%のゼロショット性能向上を達成し、アクション認識ベンチマーク間での強力な転移性を確認する。