[論文レビュー] S-CLIP: Semi-supervised Vision-Language Learning using Few Specialist Captions

Sangwoo Mo, Minkyu Kim+2 more|arXiv (Cornell University)|May 23, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

S-CLIPは、少量の対応する画像・テキストキャプションと豊富な非対応画像を活用して、専門分野の分野におけるCLIPの性能を向上させる半教師付きビジョン・ランゲージ事前学習手法を提案する。最適輸送を用いたキャプションレベルの偽ラベル付けと、部分ラベル学習によるキーワードレベルの偽ラベル付けを導入し、教師あり微調整に比べてラベルデータを3分の1に減らしても、ゼロショット精度を10%向上、リtrieval性能を4%向上させる。

ABSTRACT

Vision-language models, such as contrastive language-image pre-training (CLIP), have demonstrated impressive results in natural image domains. However, these models often struggle when applied to specialized domains like remote sensing, and adapting to such domains is challenging due to the limited number of image-text pairs available for training. To address this, we propose S-CLIP, a semi-supervised learning method for training CLIP that utilizes additional unpaired images. S-CLIP employs two pseudo-labeling strategies specifically designed for contrastive learning and the language modality. The caption-level pseudo-label is given by a combination of captions of paired images, obtained by solving an optimal transport problem between unpaired and paired images. The keyword-level pseudo-label is given by a keyword in the caption of the nearest paired image, trained through partial label learning that assumes a candidate set of labels for supervision instead of the exact one. By combining these objectives, S-CLIP significantly enhances the training of CLIP using only a few image-text pairs, as demonstrated in various specialist domains, including remote sensing, fashion, scientific figures, and comics. For instance, S-CLIP improves CLIP by 10% for zero-shot classification and 4% for image-text retrieval on the remote sensing benchmark, matching the performance of supervised CLIP while using three times fewer image-text pairs.

研究の動機と目的

• 大規模な対応データが不足するような専門分野（例：リモートセンシング）におけるビジョン・ランゲージ事前学習の向上を図ること。
• 同じ画像に対しても顕著に異なるキャプションが付与されるため、ビジョン・ランゲージモデルにおける単純な偽ラベル付けの限界を是正すること。
• わずかな対応画像・テキスト例と豊富な非対応画像を併用して、効果的に学習を行う半教師付き学習フレームワークの構築。
• 対照学習と言語モダリティに適した、分布シフトやキャプションの多様性に強く、ロバストな偽ラベル付け戦略の設計。
• 完全教師ありCLIPと同等の性能を達成しつつ、顕著に少ない画像・テキストペアのラベルデータを用いること。

提案手法

• 非対応画像と対応画像の間で最適輸送問題を解き、ラベル付きキャプションの確率分布を生成することで、グローバルな意味的整合性をガイドするキャプションレベルの偽ラベル付けを実現。
• 最近隣接するラベル付き画像からキーワードの候補集合を構築し、部分ラベル学習として扱うことで、局所的な視覚的・意味的コンポonentをモデル化。
• 両方の偽ラベル付け目的を統合：キャプションレベルは画像・テキスト検索を、キーワードレベルはゼロショット分類を目的とし、補完的学習を可能に。
• 教師ありデータと偽ラベル付きデータの両方を用いて対照学習を実行し、訓練中に偽ラベルを段階的に改善。
• ミニバッチの可視的類似度に基づいてバッチをソートすることで、偽ラベル品質と訓練の安定性を向上。
• 外部検出器やクラスアノテーションに依存せず、アノテーションインfraが限られた分野にも適用可能。

実験結果

リサーチクエスチョン

• RQ1 少量の対応キャプションと豊富な非対応画像を用いた半教師付き学習が、専門分野におけるビジョン・ランゲージモデルの性能を顕著に向上させ得るか？
• RQ2 キャプションの多様性と独自性が著しい状況において、偽ラベル付けをどのように設計すれば、最近接キャプションへの単純割り当てに陥らないか？
• RQ3 キャプションレベルとキーワードレベルの偽ラベル付けが、ゼロショット分類と画像・テキスト検索性能をどのように共同で向上させるか？
• RQ4 ラベル付きデータとラベルなしデータの間で分布シフトが生じる状況下でも、最適輸送に基づくキャプション偽ラベル付けが、単純な最近接キャプション割り当てを上回るか？
• RQ5 正確なラベル監視が得られない状況で、キーワードの部分ラベル学習がモデルの一般化性能を向上させるか？

主な発見

• S-CLIPは、標準的なCLIP微調整に比べ、リモートセンシングベンチマークRSICDにおいてゼロショット分類精度を10%向上、画像・テキスト検索性能を4%向上させる。
• S-CLIPは、完全教師ありCLIPと同等の性能を達成しながら、画像・テキストペアの数を3分の1にまで削減でき、優れたデータ効率性を示す。
• アブレーションスタディにより、キャプションレベルおよびキーワードレベルの偽ラベル付けの両方が顕著に寄与しており、併用時が最も優れた結果をもたらすことが確認された。
• ソート済みミニバッチサンプリングにより、ゼロショット精度が1.5%向上、リtrieval性能が0.6%向上し、情報量の多いバッチ構成の利点が示された。
• ベースラインアブレーションでは、キーワード情報と半教師付き学習が独立して寄与しており、併用した場合に70.6%のゼロショット精度と10.1%のリtrieval性能を達成した。
• クラス名が欠落している状況でも、94.8%のキャプションが2つ以上のキーワードを含むことから、部分ラベル学習の必要性が裏付けられた。