[論文レビュー] EVA-CLIP-18B: Scaling CLIP to 18 Billion Parameters

Quan Sun, Jinsheng Wang+5 more|arXiv (Cornell University)|Feb 6, 2024

Geomagnetism and Paleomagnetism Studies被引用数 4

ひとこと要約

EVA-CLIP-18B は 180億パラメータの対照的言語・画像事前学習モデルであり、LAION-2B および COYO-700M から得た 60億件のトレーニングサンプルのみを用いても、27の画像分類ベンチマークで 80.7% の最先端のゼロショット精度を達成し、モデルスケーリングによる一貫した性能向上を示している。このモデルは EVA スタイルの弱い視覚的スケーリングから強い視覚的スケーリングへの移行を活用しており、公開済みの重みを用いて画像、動画、3D レプリゼンテーション学習の分野で最先端の結果を達成している。

ABSTRACT

Scaling up contrastive language-image pretraining (CLIP) is critical for empowering both vision and multimodal models. We present EVA-CLIP-18B, the largest and most powerful open-source CLIP model to date, with 18-billion parameters. With only 6-billion training samples seen, EVA-CLIP-18B achieves an exceptional 80.7% zero-shot top-1 accuracy averaged across 27 widely recognized image classification benchmarks, outperforming its forerunner EVA-CLIP (5-billion parameters) and other open-source CLIP models by a large margin. Remarkably, we observe a consistent performance improvement with the model size scaling of EVA-CLIP, despite maintaining a constant training dataset of 2-billion image-text pairs from LAION-2B and COYO-700M. This dataset is openly available and much smaller than the in-house datasets (e.g., DFN-5B, WebLI-10B) employed in other state-of-the-art CLIP models. EVA-CLIP-18B demonstrates the potential of EVA-style weak-to-strong visual model scaling. With our model weights made publicly available, we hope to facilitate future research in vision and multimodal foundation models.

研究の動機と目的

• 180億パラメータという前例のない規模の CLIP モデルをスケーリングしつつ、多様なビジョンベンチマークで高いパフォーマンスを維持すること。
• トレーニングデータ量を増やさずにモデルスケーリングによって一貫したパフォーマンス向上が達成できるかを調査すること。
• EVA スタイルの弱い視覚的スケーリングから強い視覚的スケーリングへの移行の有効性を大規模な対照的事前学習に応用できるかを検証すること。
• より大きな CLIP モデルが画像、動画、3D レプリゼンテーション学習において優れたゼロショットパフォーマンスを達成できることを示すこと。
• 研究を加速させるために、強力でオープンソースの基盤モデルをリリースすること。

提案手法

• LAION-2B および COYO-700M から抽出した 20億組の画像・テキストペアのキュレート済みデータセット上で、対照的学習の目的関数を用いてトレーニングを実施。自社データは一切使用しない。
• EVA-CLIP-18B は 180億パラメータのビジョントランスフォーマーベースを採用し、360台の A100 GPU を用いてグローバルバッチサイズ 108,000 でトレーニングされている。
• 画像とテキストのエンコーダーを別々に持つデュアルストリームアーキテクチャを採用し、対照的損失を用いて画像とテキストの埋め込みを同時に最適化して整合性を図っている。
• データオーグメンテーションとミックス精度トレーニングを導入することで、収束性と効率性を向上させている。
• 27の画像分類、4つの動画分類、2つのリtrievalベンチマークでゼロショット転送プロトコルを用いて評価を行っている。
• 解像度を 224×224、336×336、448×448 の複数に変更して微調整および評価することで、解像度の影響を調査している。

Figure 1: Scaling behavior of EVA-CLIP with zero-shot classification performance averaged across 27 image classification benchmarks , compared with the current state-of-the-art and largest CLIP models (224px). The diameter of each circle demonstrates the forward GFLOPs $\times$ the number of trainin

実験結果

リサーチクエスチョン

• RQ1 180億パラメータにまでスケーリングされた CLIP モデルが、固定されたデータサイズ（20億ペア）のもとでも、多様なビジョンベンチマークで一貫したパフォーマンス向上を示すか？
• RQ2 EVA スタイルの弱い視覚的スケーリングから強い視覚的スケーリングへの移行の原則が、大規模な CLIP モデルに効果的に適用可能か？
• RQ3 EVA-CLIP-18B のゼロショット画像分類、動画分類、3D 分類性能は、他のオープンソースおよび特許取得済み CLIP モデルと比べてどうか？
• RQ4 入力解像度の向上が、EVA-CLIP-18B 及びその小規模バージョンのゼロショット精度に与える影響は何か？
• RQ5 事前学習段階で動画データを組み込むことで、ゼロショット動画分類性能が向上するか？

主な発見

• EVA-CLIP-18B は、27の広く使われている画像分類ベンチマークの平均で、80.7% の新しい最先端のゼロショットトップ-1精度を達成した。
• 60億件のトレーニングサンプルのみを用いても、50億パラメータの前身モデルや他のオープンソース CLIP モデルを大きく上回るパフォーマンスを示した。
• トレーニングデータが 20億ペアに固定されたままでも、モデルサイズの増大に伴い一貫したパフォーマンス向上が確認された。
• ImageNet-1K における線形プローブ評価では、トップ-1精度が 88.9% を達成し、InternVL-C よりも 0.7 パcent点高い結果を出した。
• 3D レプリゼンテーション学習において、EVA-CLIP-18B を教師モデルとして用いることで、ModelNet40 では 87.6%、ScanObjectNN では 65.3% のトップ-1精度を達成し、ゼロショット性能が向上した。
• 事前学習段階で動画データを追加することで、Kinetics および UCF-101 ベンチマークで、1フレーム分の動画入力では +0.7、8フレーム分では +0.8 のゼロショット動画分類精度向上が確認された。