[論文レビュー] SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification

Peng Fang, Xiaoshan Yang+3 more|arXiv (Cornell University)|Nov 28, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

SgVA-CLIPは、implicit knowledge distillation、vision-specific contrastive loss、cross-modal contrastive lossを用いて、CLIPのようなビジョン・ランゲージモデルのための意味的誘導視覚的適応フレームワークを提案する。この手法により、少数のサンプルでの画像分類性能が向上し、miniImageNetではベースラインCLIP比で最大4.88%の精度向上、ResNet101では1.25%の向上を達成した。

ABSTRACT

Although significant progress has been made in few-shot learning, most of existing few-shot image classification methods require supervised pre-training on a large amount of samples of base classes, which limits their generalization ability in real world application. Recently, large-scale Vision-Language Pre-trained models (VLPs) have been gaining increasing attention in few-shot learning because they can provide a new paradigm for transferable visual representation learning with easily available text on the Web. However, the VLPs may neglect detailed visual information that is difficult to describe by language sentences, but important for learning an effective classifier to distinguish different images. To address the above problem, we propose a new framework, named Semantic-guided Visual Adapting (SgVA), which can effectively extend vision-language pre-trained models to produce discriminative adapted visual features by comprehensively using an implicit knowledge distillation, a vision-specific contrastive loss, and a cross-modal contrastive loss. The implicit knowledge distillation is designed to transfer the fine-grained cross-modal knowledge to guide the updating of the vision adapter. State-of-the-art results on 13 datasets demonstrate that the adapted visual features can well complement the cross-modal features to improve few-shot image classification.

研究の動機と目的

• テキストで記述しにくい微細な視覚的詳細を無視しがちなビジョン・ランゲージ事前学習モデル（VLPs）の少数の学習における限界を是正する。
• ラベル付きデータが限られる状況でも、クロスモーダルアライメントを超えた視覚的表現の向上を通じて、少数の学習画像分類を改善する。
• 視覚エンコーダーのファインチューニングを伴わず、事前学習済みVLP（例：CLIP）の適応を可能にし、一般化性能を維持しながらタスク固有の特徴を学習する。
• 単モodalの視覚的表現学習とクロスモーダルアライメントを包括的に統合し、分類のロバスト性と精度を向上させる。

提案手法

• 視覚エンコーダーを固定したまま、タスク固有の視覚的特徴を学習する視覚アダプタレイヤーを導入する。
• 事前学習済みCLIPから視覚的特徴を暗黙的知識蒸留により視覚アダプタに転送する。
• 視覚特徴の識別力を向上させるために、視覚特化型対照学習損失を視覚アダプタの最適化に適用する。
• 同時に、画像とテキスト表現間のアライメントを維持するため、クロスモーダル対照学習損失を最適化に組み込む。
• より良いゼロショット転移を実現するために、学習可能なプロンプトを用いてテキスト埋め込みの品質を向上させる。
• 視覚エンコーダーを固定した状態で、視覚アダプタと学習可能なプロンプトをエンドツーエンドに学習し、パラメータ更新を最小限に抑えつつ性能向上を最大化する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留と対照学習によって適応された視覚的表現は、標準的なクロスモーダルアライメントを超えて、少数の学習画像分類性能を向上させることができるか？
• RQ2 単モーダル視覚特徴学習とクロスモーダルアライメントの統合は、少数の学習ベンチマークにおける性能にどのように影響するか？
• RQ3 少数の学習精度を最大化するための視覚アダプタの最適な構成（例：隠れ次元、温度パラメータ）は何か？
• RQ4 SgVA-CLIPは、異なるビジョンバックボーンや少数の学習設定に一般化可能か？
• RQ5 視覚エンコーダーのファインチューニングなしに、外部パラメータの数を最小限に抑えながら、モデルがどれほど性能向上を達成できるか？

主な発見

• miniImageNetの5-way 1-shot設定において、SgVA-CLIPは97.95%の精度を達成し、CLIPベースライン比で4.88%の向上を示した。
• tieredImageNetでは、5-way 1-shot設定で95.73%の精度を記録し、ベースラインより6.01ポイントの向上を達成した。
• 視覚アダプタと学習可能なプロンプトの組み合わせが最高の性能を示し、ViT-B/16ではCoOp比で平均2.74%の精度向上を達成した。
• 知識蒸留における最適な温度ハイパーパrameterはτ₂ = 5であり、ImageNetおよびSUN397の両方で最良の性能を発揮した。
• 4096の隠れ次元を持つ視覚アダプタが、表現能力と冗長性の最良のトレードオフを達成し、より小さい・より大きな構成よりも優れた性能を示した。
• 可視化結果から、適応後の視覚的特徴が事前学習済み特徴よりも識別性が高く、特に嘴の形状が異なる鳥類のような視覚的に類似したクラスの分離に優れていることが確認された。