[論文レビュー] VT-CLIP: Enhancing Vision-Language Models with Visual-guided Texts

Longtian Qiu, Renrui Zhang+5 more|arXiv (Cornell University)|Dec 4, 2021

Multimodal Machine Learning Applications被引用数 28

ひとこと要約

VT-CLIPは、視覚誘導型クロスアテンションモジュールを用いてCLIPを強化し、視覚的空間特徴に基づいてテキスト特徴を適応させることで、11データセットに渡る少数ショット認識を改善します。

ABSTRACT

Contrastive Language-Image Pre-training (CLIP) has drawn increasing attention recently for its transferable visual representation learning. However, due to the semantic gap within datasets, CLIP's pre-trained image-text alignment becomes sub-optimal on downstream tasks, which severely harms its transferring performance. To better adapt the cross-modality embedding space, we propose to enhance CLIP via Visual-guided Texts, named VT-CLIP. Specifically, we guide textual features of different categories to adaptively explore informative regions on the image and aggregate visual features by attention mechanisms. In this way, the texts become visual-guided, namely, more semantically correlated with downstream images, which greatly benefits the category-wise matching process. In few-shot settings, we evaluate our VT-CLIP on 11 well-known classification datasets to demonstrate its effectiveness.

研究の動機と目的

• 少数ショット条件下でのCLIPにおけるクロスモーダル整合性の改善。
• 視覚的文脈を用いて、画像領域へ適応的に焦点を合わせるようテキストプロンプトを可能にする。
• 残差接続を介して元のテキスト特徴を保持することで頑健性を維持する。
• ベースライン（Zero-shot CLIP、CoOp、CLIP-Adapter）より各データセットで性能の改善を示す。

提案手法

• テキストが視覚的空間特徴を照会してテキスト表現を適応させる、視覚誘導型クロスアテンションモジュールを導入する。
• 事前学習済みのCLIPコンポーネントを用い、エンコーダーを凍結し、クロスアテンションモジュールのみを訓練する。
• コンテキストレベルの空間画像特徴（プリプーリング）をクロスアテンションのキー/バリューとして活用する。
• 適応後のテキスト特徴と元のテキスト特徴を融合するために残差接続を適用する。
• 適応後のテキスト特徴を用いて類似度を計算し最終分類スコアを得る。
• 11データセットで少数ショット設定（1, 2, 4, 8, 16ショット）で評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚誘導型のテキスト適応は、少数ショット設定における下流タスクのクロスモーダル整合性を改善できるか？
• RQ2 VT-CLIPにおける画像の空間特徴とテキスト特徴間のクロスアテンションは、カテゴリ別のマッチングにどのような影響を与えるか？
• RQ3 視覚誘導型クロスアテンションモジュールのアーキテクチャ選択（ヘッド数、レイヤー数）が性能に及ぼす影響はどの程度か？

主な発見

• VT-CLIPは、少数ショット設定で11データセットを横断してZero-shot CLIP、CoOp、CLIP-Adapterを一貫して上回る。
• VT-CLIPの精度向上は訓練ショット数が増えるにつれて大きくなる。
• VT-CLIPはCoOpより安定した性能を示し、特に低ショット領域で顕著。
• アブレーション研究では、クロスアテンションモジュールで2つのヘッドが最良の性能を示し、より多くの連結層を追加すると少数ショットの状況で性能が低下することが示唆される。