[論文レビュー] VeCLIP: Improving CLIP Training via Visual-enriched Captions

Zhengfeng Lai, Haotian Zhang+10 more|arXiv (Cornell University)|Oct 11, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

VeCLIPは、LLaVAと2番目のLLMを用いて視覚的豊富なキャプション（VeC）を生成することでCLIP事前学習を改善し、元のAltTextとVeCを交互に使用する混合学習戦略を採用することで、画像・テキストのアライメントを強化する。このアプローチにより、1200万データでCOCOおよびFlickr30kのリtrieval性能が20%以上向上し、vanilla CLIPの14%のデータのみで3%以上の精度向上を達成した。

ABSTRACT

Large-scale web-crawled datasets are fundamental for the success of pre-training vision-language models, such as CLIP. However, the inherent noise and potential irrelevance of web-crawled AltTexts pose challenges in achieving precise image-text alignment. Existing methods utilizing large language models (LLMs) for caption rewriting have shown promise on small, curated datasets like CC3M and CC12M. This study introduces a scalable pipeline for noisy caption rewriting. Unlike recent LLM rewriting techniques, we emphasize the incorporation of visual concepts into captions, termed as Visual-enriched Captions (VeCap). To ensure data diversity, we propose a novel mixed training scheme that optimizes the utilization of AltTexts alongside newly generated VeCap. We showcase the adaptation of this method for training CLIP on large-scale web-crawled datasets, termed VeCLIP. Employing this cost-effective pipeline, we effortlessly scale our dataset up to 300 million samples named VeCap dataset. Our results show significant advantages in image-text alignment and overall model performance. For example, VeCLIP achieves up to +25.2% gain in COCO and Flickr30k retrieval tasks under the 12M setting. For data efficiency, VeCLIP achieves +3% gain while only using 14% of the data employed in the vanilla CLIP and 11% in ALIGN. We also note the VeCap data is complementary with other well curated datasets good for zero-shot classification tasks. When combining VeCap and DFN, our model can achieve strong performance on both of image-text retrieval and zero-shot classification tasks, e.g. 83.1% accuracy@1 on ImageNet zero-shot for a H/14 model. We release the pre-trained models at https://github.com/apple/ml-veclip.

研究の動機と目的

• CLIP事前学習に用いられる大規模なウェブクロールドデータセットにおいて、高品質で視覚的に根拠のあるキャプションの不足を解決すること。
• 事前に整備された高品質なアノテーションに依存せずに、キャプションに視覚的コンセプトを統合することで、画像・テキストのアライメントを向上させること。
• 元のAltTextとLLMが生成する視覚的豊富なキャプション（VeC）を交互に使用することで、事前学習中のデータ多様性を高めること。
• 低品質なペairをフィルタリングしないまま、大量でノイズの多いウェブクロールドデータに対して、効率的かつスケーラブルなビジョン・ランゲージモデルの事前学習を可能にすること。
• vanilla CLIPやALIGNと比較して、はるかに少ないデータで優れた性能を達成できることを示すこと。

提案手法

• LLaVAを用いて画像内の視覚的エンティティを検出し、構造的な視覚的記述を生成する。
• 検出された視覚的エンティティと元のAltTextを2番目のLLMに供給し、視覚的コンセプトを統合した拡張キャプション（VeC）を生成する。
• 事前学習中に元のAltTextとLLM生成のVeCを交互に使用する混合学習スキームを構築し、データ多様性を向上させる。
• ノイズの多いAltTextを含むすべての画像・テキストペアを保持することで、データ効率を維持し、フィルタリングによるデータ損失を回避する。
• 視覚エンコーダーとテキストエンコーダーを、元のキャプションとVeC変換済みキャプションの両方を用いて、CLIPの対照的損失目的関数に適応させる。
• 2段階のキャプションパイプラインを採用：第一段階はLLaVAによる視覚的グランドイング、第二段階は大規模言語モデルによる自然言語の最適化で、滑らかでコンセプト豊富なキャプションを生成する。

実験結果

リサーチクエスチョン

• RQ1 LLMを用いてキャプションに視覚的コンセプトを統合することで、CLIP事前学習における画像・テキストのアライメントが顕著に向上するか？
• RQ2 元のAltTextと視覚的豊富なキャプション（VeC）を交互に使用する混合学習戦略が、モデルの汎化性能を向上させ、過学習を低減するか？
• RQ3 vanilla CLIPやALIGNと比較して、VeCLIPはどの程度データ要件を削減しつつ、性能を維持または向上できるか？
• RQ4 キャプションの品質が、下流のゼロショット画像分類およびリtrieval性能にどのように影響するか？
• RQ5 VeCLIPフレームワークは、CC3MやCC12Mのような高品質に整備されたデータセットにも一般化可能か？また、一貫した改善が得られるか？

主な発見

• 1200万データ設定下で、COCOの画像→テキストリtrievalで20.1%の向上、Flickr30kで21.3%の向上を達成した。
• ImageNetのゼロショット分類において、vanilla CLIPが要するデータの14%のデータ量で、精度を3%以上向上させた。
• ALIGNで使用されたデータの11%のデータ量で、ImageNetのゼロショット分類精度を3.1%向上させた。
• AltTextとVeCを交互に使用する混合学習戦略は、単一でVeCを使用する場合と比較して、ゼロショットImageNet性能を1.8%向上させた。
• CC3Mデータセットでは、LLM-VeCがCOCOの画像→テキストリtrievalを18.16%向上させ、ImageNetのゼロショット精度を6.14%向上させた。
• ViT-L/14を含む、すべてのバックボーンサイズにおいて、VeCLIPはvanilla CLIPを一貫して上回り、スケーラビリティとアーキテクチャに依存しない性能を示した。