[論文レビュー] SLIP: Self-supervision meets Language-Image Pre-training

Norman Mu, Alexander M. Kirillov+2 more|arXiv (Cornell University)|Dec 23, 2021

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

SLIPは、画像の視覚的変換（ビュー）における自己教師付き対照的学習と、CLIP風の画像・テキスト対照的学習の両方を用いたマルチタスク学習フレームワークを導入する。これらの目的を統合することで、ゼロショット転送、線形プローブ、ファインチューニングのベンチマークにおいて最先端の性能を達成し、自己教師付き学習に比べて線形精度を+8.1%、CLIPに比べてゼロショット精度を+5.2%向上させる。

ABSTRACT

Recent work has shown that self-supervised pre-training leads to improvements over supervised learning on challenging visual recognition tasks. CLIP, an exciting new approach to learning with language supervision, demonstrates promising performance on a wide variety of benchmarks. In this work, we explore whether self-supervised learning can aid in the use of language supervision for visual representation learning. We introduce SLIP, a multi-task learning framework for combining self-supervised learning and CLIP pre-training. After pre-training with Vision Transformers, we thoroughly evaluate representation quality and compare performance to both CLIP and self-supervised learning under three distinct settings: zero-shot transfer, linear classification, and end-to-end finetuning. Across ImageNet and a battery of additional datasets, we find that SLIP improves accuracy by a large margin. We validate our results further with experiments on different model sizes, training schedules, and pre-training datasets. Our findings show that SLIP enjoys the best of both worlds: better performance than self-supervision (+8.1% linear accuracy) and language supervision (+5.2% zero-shot accuracy).

研究の動機と目的

• 自己教師付き学習が、CLIPの言語監督型視覚的表現学習を向上させられるかどうかを調査すること。
• 自己教師付き学習と画像・テキスト対照的学習を統合する包括的なマルチタスクフレームワークを開発すること。
• 多様な下流タスクおよびデータセットにおける自己教師付き学習と言語監督型学習の相乗効果を評価すること。
• 事前学習データの規模、モデルのサイズ、トレーニングスケジュールが表現品質に与える影響を評価すること。
• YFCC15Mのようなクリーニングされていないデータセットにおいて、ImageNetに限定されないSLIPの有効性を検証すること。

提案手法

• SLIPは、画像の拡張ビューにおける対照的自己教師付き学習と、キャプション付きの画像・テキスト対照的学習の二重目的でVision Transformerを事前学習する。
• モデルは、画像の拡張（例：クロップ、カラーのジャマ）と、YFCC15Mからのペアド画像・テキスト対に対する二つの対照的目的を同時に最適化する。
• ビジョンエンコーダは、両方の目的を共有のバックボーンで処理し、それぞれの目的に対して別々のプロジェクションヘッドを備える。
• 事前学習はYFCC15Mの1500万件のサブセットを対象とし、データ拡張と64台のV100 GPUを用いた混合精度トレーニングで実施される。
• 評価は、テキストプロンプトを用いたゼロショット転送、凍結された特徴量を用いた線形分類、エンドツーエンドのファインチューニングの3つの設定で実施される。
• アブレーションスタディでは、二つの目的を分離し、それぞれの損失の影響を隔離するために、非重複な画像サブセットで学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習と言語監督型学習を組み合わせることで、単独で用いる場合よりも優れた視覚的表現が得られるか？
• RQ2 自己教師付き学習は、CLIP風の言語・画像事前学習の下流タスクにおける性能を向上させられるか？
• RQ3 SLIPは、ゼロショット、線形プローブ、ファインチューニングという異なる評価プロトコルにおいて、どのように性能を発揮するか？
• RQ4 YFCC15Mのようなクリーニングされていない大規模データセットで事前学習を実施することで、ImageNetでの学習に比べてより優れた一般化性能が得られるか？
• RQ5 モデルのサイズ、トレーニングスケジュール、データ処理がSLIPの性能に与える影響は何か？

主な発見

• ViT-Lを用いたImageNetでは、SLIPが47.9%のゼロショット精度を達成し、CLIPに比べ+5.6%、自己教師付き学習に比べ+8.1%の向上を示した。
• 線形プローブ評価では、自己教師付き学習に比べ+8.1%の精度向上を達成し、優れた特徴量品質を示した。
• ゼロショット精度においてCLIPに比べ+5.2%の向上を示し、自己教師付き学習が言語誘導型表現学習を強化していることを示した。
• 自己教師付き学習とテキスト監督型学習を分離しても、性能に顕著な影響がないため、両者の共同最適化が安定的かつ効果的であることが示された。
• 25以上の追加の下流ベンチマークにおいても、ゼロショットおよび線形評価設定で一貫した向上を示し、一般化性能が優れていることが確認された。
• CLIPに比べてトレーニングが遅い（30.5時間 vs. 22.3時間）ものの、事前学習後には推論オーバーヘッドが生じず、CC3MおよびCC12Mでも高い性能を維持した。