[論文レビュー] SVL-Adapter: Self-Supervised Adapter for Vision-Language Pretrained Models

Omiros Pantazis, Gabriel Brostow+2 more|arXiv (Cornell University)|Oct 7, 2022

Multimodal Machine Learning Applications被引用数 16

ひとこと要約

SVL-Adapter は自己教師ありアダプタであり、視覚言語事前学習と自己教師あり表現学習を組み合わせることで、分布外のデータセットにおけるゼロショットおよびローフレーム画像分類を向上させる。既存手法と比較して平均10%の精度向上を達成し、ラベル付き検証データを必要としない自動ハイパーパramータ選択手法を導入している。

ABSTRACT

Vision-language models such as CLIP are pretrained on large volumes of internet sourced image and text pairs, and have been shown to sometimes exhibit impressive zero- and low-shot image classification performance. However, due to their size, fine-tuning these models on new datasets can be prohibitively expensive, both in terms of the supervision and compute required. To combat this, a series of light-weight adaptation methods have been proposed to efficiently adapt such models when limited supervision is available. In this work, we show that while effective on internet-style datasets, even those remedies under-deliver on classification tasks with images that differ significantly from those commonly found online. To address this issue, we present a new approach called SVL-Adapter that combines the complementary strengths of both vision-language pretraining and self-supervised representation learning. We report an average classification accuracy improvement of 10% in the low-shot setting when compared to existing methods, on a set of challenging visual classification tasks. Further, we present a fully automatic way of selecting an important blending hyperparameter for our model that does not require any held-out labeled validation data. Code for our project is available here: https://github.com/omipan/svl_adapter.

研究の動機と目的

• CLIP などの視覚言語モデルが、医療、リモートセンシング、バイオダイバーシティ画像など、分布外で困難な視覚データセットにおいて一般化性能に欠ける問題に対処すること。
• 保持されたラベル付きデータを用いたハイパーパramータチューニングに依存する既存のアダプタ手法の限界を克服すること。
• ローカルリソース環境における表現学習の向上を図るため、視覚言語事前学習と自己教師あり学習の長所を統合すること。
• ラベル付き検証データを一切必要としない、CLIPと自己教師あり特徴のブレンドハイパーパramータを自動で選択する完全自動手法の開発

提案手法

• 同じ画像データから学習された自己教師あり表現と視覚言語モデル（例：CLIP）の特徴を融合する軽量なアダプタモジュールである SVL-Adapter を導入する。
• 学習可能なブレンドゲートを用いて CLIP 特徴と自己教師あり特徴を動的に結合し、統合プロセスのエンドツーエンド最適化を可能にする。
• 対照的学習目的（例：SimCLR や MoCo）を用いて、ラベルなしのターゲットデータセットの画像上で自己教師あり表現ヘッドを訓練する。
• ラベルなしデータ上のモデル予測を用いて最適なブレンド重みを推定する自動ハイパーパramータ選択メカニズムを提案し、ラベル付き検証セットの必要性を排除する。
• ローフレームおよびゼロショット設定の両方でアダプタを適用する：ローフレームでは CLIP の擬似ラベルを学習ターゲットとして使用し、ゼロショットでは CLIP のゼロショット機能を適応済み特徴と組み合わせて直接利用する。
• 画像データと擬似ラベルの組み合わせでアダプタを訓練し、最終的な分類ヘッドをエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 視覚言語事前学習と自己教師あり表現学習を組み合わせることで、困難な分布外データセットにおけるゼロショットおよびローフレーム画像分類が著しく向上するか？
• RQ2 提案されたブレンドゲートのための自動ハイパーパramータ選択手法は、ラベル付き検証データを必要とする標準的手法を上回る性能を示すか？
• RQ3 多様な視覚分類タスクにおいて、SVL-Adapter は既存のアダプタ手法と比較して精度とデータ効率の点で優れているか？
• RQ4 SVL-Adapter は、適応やチューニングにラベル付きデータを一切使用せずに、ゼロショット性能をどの程度向上できるか？

主な発見

• ローフレーム設定において、SVL-Adapter は既存手法と比較して、困難な視覚分類タスクで平均10%高いトップ1精度を達成している。
• 『困難』なデータセットでは、SVL-Adapter は最先端の手法を著しく上回っており、特に2ショット設定以上で最大の向上が観察された。
• ラベル付き検証データを一切必要としない自動ハイパーパramータ選択手法（SVL-Adapter*）は、困難なデータセットにおいて SVL-Adapter と同等の性能を達成している。
• ゼロショット設定では、SVL-Adapter* は困難なデータセットで標準CLIPと比較して平均8%高いトップ1精度を達成し、標準データセットでは5%の向上を示している。
• ImageNet や CIFAR といった標準データセットでも競争力のある性能を示しており、汎用的な強力なベースラインとしての有用性を示している。
• 強力な性能を発揮しているものの、細分化データセット（StanfordCars や FGVCAircraft）では限界を示しており、これらは自己教師あり学習にとって特に困難であることが知られている。