[論文レビュー] SynthCLIP: Are We Ready for a Fully Synthetic CLIP Training?

Hasan Abed Al Kader Hammoud, Hani Itani+4 more|arXiv (Cornell University)|Feb 2, 2024

Myasthenia Gravis and ThymomaMedicine被引用数 3

ひとこと要約

SynthCLIPは、大規模言語モデル（LLM）およびテキストから画像への拡散モデル（TTI）を用いて、実際のデータを一切使用せずにスケーラブルで高品質かつ安全な画像・キャプションペアを生成する完全に合成されたトレーニングフレームワークを提案する。実データで訓練されたCLIPモデルと同等の性能を達成しており、完全に合成データを用いたスケーラブルで制御可能かつ安全なビジョン・ランゲージモデルの事前学習が可能であることを示している。

ABSTRACT

We present SynthCLIP, a CLIP model trained on entirely synthetic text-image pairs. Leveraging recent text-to-image (TTI) networks and large language models (LLM), we generate synthetic datasets of images and corresponding captions at scale, with no human intervention. In this work, we provide an analysis on CLIP models trained on synthetic data. We provide insights on the data generation strategy, number of samples required, scaling trends, and resulting properties. We also introduce SynthCI-30M, a purely synthetic dataset comprising 30 million captioned images. Our code, trained models, and data, are released as open source at https://github.com/hammoudhasan/SynthCLIP

研究の動機と目的

• ウェブから取得したテキスト・画像データセットが抱える課題、例えばデータノイズ、長尾分布、セーフティリスクを解決すること。
• 実際のデータを一切使用せず、完全に合成データのみでCLIPモデルを訓練できるかを調査すること。
• スケーラブルで自動化されたパイプラインを構築し、多様でバランスの取れた、かつ安全な合成テキスト・画像ペアを大規模に生成すること。
• 概念の分布や言語モデルの選択が、合成データで学習したCLIPモデルの下流タスク性能に与える影響を評価すること。
• 大規模な合成データセット（SynthCI-30M）とトレーニングコードを公開し、合成データトレーニング分野における再現可能性とさらなる研究を促進すること。

提案手法

• 視覚的および言語的要素の多様性とカバレッジを確保するため、50万件の概念バンクを活用する。
• 指示従い型プロンプティングを用いて、サンプリングされた概念から大規模言語モデル（例：Mistral 7B）が記述的キャプションを生成する。
• テキストから画像への拡散モデル（例：Stable Diffusion v1.5）を用いて、LLMが生成したキャプションを条件として画像を生成する。
• テキストと画像の整合性を保証するため、エンドツーエンドでペアを生成し、意味的整合性を確保する。
• 最先端のLLMおよびTTIモデルに内蔵されたセーフティガードを活用して、有害コンテンツを回避するためのフィルタリングを実施する。
• 対照的学習を用いて、完全に合成されたデータセット上でCLIPモデルを訓練し、統合的視覚・言語表現を学習する。

Figure 1 : Advantages of SynthCLIP. Collecting text-image pairs from the internet often presents challenges: captions may not accurately match the images, specific classes may have limited representation due to scarcity, and there is a risk of encountering harmful content. We propose SynthCLIP, an a

実験結果

リサーチクエスチョン

• RQ1 完全に合成されたテキスト・画像ペアのみで訓練されたCLIPモデルは、実世界のデータセットで学習されたモデルと同等の性能を達成できるか？
• RQ2 トレーニングデータにおける概念の分布が、合成データで学習したCLIPモデルの下流タスク性能にどのように影響するか？
• RQ3 キャプション生成に異なる大規模言語モデルを使用した場合、合成データの品質およびモデル性能にどのような影響を与えるか？
• RQ4 ランダムに概念をサンプリングする方法は、バランス型または概念特化型のサンプリングに比べて性能を劣化させるか？
• RQ5 人為的介入なしにスケーラビリティとセーフティを実現できる合成データ生成パイプラインは、モデルの汎化性能を維持できるか？

主な発見

• 3000万件の合成画像・キャプションペアで学習したSynthCLIPは、実データで事前学習されたCLIPモデルと同等の性能を示し、下流タスクにおいて僅かな性能差に留まる。
• 概念バンクからのバランス型サンプリングは、ランダムサンプリングに比べて画像検索およびテキスト検索でそれぞれ2.7%の向上を示し、クラス分布の重要性を強調している。
• キャプション生成にMistral 7Bモデルを用いることで、33BのVicunaモデルを上回る性能を発揮しており、おそらくこのタスクにおいてより優れた指示従い能力を有しているためと推測される。
• CC3Mから抽出した概念（4万件のサブセット）を用いて学習すると、全概念バンクに比べてテキスト検索で3.9%、線形プローブで1.6%の向上を示し、CC3Mに下流タスクに有益な概念が偏っている可能性を示唆している。
• ランダムに選択された概念サブセットは、全概念バンクに比べて性能が劣るため、概念の関連性とカバレッジがモデルの汎化性能に顕著に影響することが示された。
• 3000万件のペaired画像とキャプションから構成される完全に合成されたデータセットであるSynthCI-30Mの公開により、実データを一切使用せずに大規模かつ安全かつスケーラブルな事前学習が可能になった。

Figure 2 : Pipeline Overview. From a set of concepts $\mathcal{C}$ (left), we obtain a set of synthetic captions $\mathcal{T}$ with an LLM, further refined to $\mathcal{T}^{*}$ by a filtering operation which subsamples $\mathcal{T}$ using balanced sampling (top). The generated captions are then used