[論文レビュー] SuS-X: Training-Free Name-Only Transfer of Vision-Language Models

Vishaal Udandarao, Ankush Gupta+1 more|arXiv (Cornell University)|Nov 28, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

SuS-X は、CLIP などのビジョン・ランゲージ モデル (VLM) のためのトレーニング不要で名前のみを用いた適応手法を提案する。クラス名からテキスト・トゥ・イメージ モデルまたはリtrieval を用いて収集された、洗練されたサポートセット (SuS) と、新しい推論プロトコル (TIP-X) を使用し、19 のベンチマークで最先端のゼロショット分類精度を達成した。ベースラインの CLIP よりも最大 11.37% の向上を達成した。

ABSTRACT

Contrastive Language-Image Pre-training (CLIP) has emerged as a simple yet effective way to train large-scale vision-language models. CLIP demonstrates impressive zero-shot classification and retrieval on diverse downstream tasks. However, to leverage its full potential, fine-tuning still appears to be necessary. Fine-tuning the entire CLIP model can be resource-intensive and unstable. Moreover, recent methods that aim to circumvent this need for fine-tuning still require access to images from the target distribution. In this paper, we pursue a different approach and explore the regime of training-free "name-only transfer" in which the only knowledge we possess about the downstream task comprises the names of downstream target categories. We propose a novel method, SuS-X, consisting of two key building blocks -- SuS and TIP-X, that requires neither intensive fine-tuning nor costly labelled data. SuS-X achieves state-of-the-art zero-shot classification results on 19 benchmark datasets. We further show the utility of TIP-X in the training-free few-shot setting, where we again achieve state-of-the-art results over strong training-free baselines. Code is available at https://github.com/vishaal27/SuS-X.

研究の動機と目的

• 分布シフトを伴う下流タスクにおけるゼロショット CLIP の性能制限を克服すること。
• ターゲットタスクのデータやモデルの微調整にアクセスできない状況でも、効果的な VLM 適応を可能にすること。
• 適応にクラスのカテゴリ名のみを必要とするスケーラブルで柔軟な手法を開発すること。
• 名前ベースのサポートセットのみを用いて、多様なベンチマークで最先端のゼロショット分類性能を達成すること。

提案手法

• クラス名のみを用いて、ターゲットクラスの画像を生成または収集する動的キュレーション戦略である SuS（サポートセット）を提案する。
• テキスト・トゥ・イメージ ディフュージョン モデル（例：Stable Diffusion）や、大規模ビジョン・ランゲージ データセット（例：LAION-5B）からのリtrieval を用いて、サポートセットを構築する。
• トレーニング不要の推論プロトコルである TIP-X を導入し、洗練されたサポートセットを少数の例としての代理データセットとして用いて VLM を適応させる。
• TIP-X を適用し、クエリ画像とサポートセットのプロンプトとの類似度を統合してクラスのロジットを計算することで、微調整を回避する。
• サポートセット構築に、パラメトリック（テキスト・トゥ・イメージ生成）とノンパラメトリック（画像リtrieval）の両方の方法を対応可能にする。
• タスク固有のサポートセットを事前にキャッシュすることで、再訓練なしに動的かつ即座にタスク切り替えが可能となり、継続的忘却を回避する。

Figure 1 : Training-free name-only transfer. We propose SuS-X , a framework for enhancing the zero-shot transfer abilities of VLMs like CLIP [ 61 ] , BLIP [ 46 ] and TCL [ 76 ] , without training. To achieve this, we propose a novel method TIP-X , which adapts these VLMs using a curated support set

実験結果

リサーチクエスチョン

• RQ1 クラス名とターゲットデータなしで、ビジョン・ランゲージ モデルを新しい下流タスクに効果的に適応できるか？
• RQ2 微調整やデータ拡張を伴うゼロショット手法と比較して、トレーニング不要で名前のみの適応戦略はどの程度有効か？
• RQ3 クラス名に基づく合成画像または取得画像は、ゼロショット転送における少数の例の代替として効果的か？
• RQ4 提案された TIP-X フレームワークは、既存のトレーニング不要のベースラインをゼロショットおよび少数の例設定の両方で上回るか？
• RQ5 異なるドメインシフトを伴う多様な下流データセットにおいて、SuS-X はどの程度のロバスト性を示すか？

主な発見

• SuS-X は 19 のベンチマークデータセットで最先端のゼロショット分類精度を達成し、ResNet-50、ResNet-101、ViT-B/16 それぞれについて、ゼロショット CLIP より平均で 4.60%、5.97%、11.37% の向上を達成した。
• ImageNet において、SuS-X-LC（CLIP を用いたテキスト・トゥ・イメージ生成）はトップ1精度 61.89% を達成し、ベースラインの ZS-CLIP（60.31%）および完全な微調整（60.35%）を上回った。
• 少数の例設定では、TIP-X が強力なトレーニング不要のベースラインを上回り、11 のデータセットで平均 68.20% の精度を達成し、以前の最先端手法を上回った。
• 代替のテキスト・トゥ・イメージ モデル（例：Kandinsky2.1、OpenJourney-4）を用いることで一貫した向上が得られ、平均で最大 9.03% の向上を示し、手法のロバスト性を裏付けた。
• SuS-X を微調整するとさらに向上（例：ImageNet で 63.22%）が得られるが、トレーニング不要なバージョンは依然として非常に効果的であり、継続的忘却を回避できる。
• この手法はスケーラブルで動的である：サポートセットは事前に計算可能で、再訓練なしにタスクごとに切り替え可能であり、希少または変化するカテゴリへの効率的な適応を可能にする。

Figure 2 : SuS-X for training-free name-only transfer. SuS-X consists of two core building blocks. (1) SuS (top right), a dynamic support set that we construct to infuse visual information into the VLM based only on knowledge of target category names. We construct support sets either in a parametric