[論文レビュー] EfficientCLIP: Efficient Cross-Modal Pre-training by Ensemble Confident Learning and Language Modeling

Jue Wang, Haofan Wang+3 more|arXiv (Cornell University)|Sep 10, 2021

Multimodal Machine Learning Applications参考文献 37被引用数 7

ひとこと要約

この論文では、ノイズの多いデータをフィルタリングし、非ペairedなテキストデータを用いた自己教師付き言語モデリングにより一般化性能を向上させる、Ensemble Confident Learning (ECL) を用いた効率的なクロスモーダル事前学習手法 EfficientCLIP を提案する。CLIP や WenLan が使用した学習リソースの1/10で中国語クロスモーダルリtrievalで最先端性能を達成するとともに、単一モーダルNLPタスクにおいても優れた性能を示す。

ABSTRACT

While large scale pre-training has achieved great achievements in bridging the gap between vision and language, it still faces several challenges. First, the cost for pre-training is expensive. Second, there is no efficient way to handle the data noise which degrades model performance. Third, previous methods only leverage limited image-text paired data, while ignoring richer single-modal data, which may result in poor generalization to single-modal downstream tasks. In this work, we propose an EfficientCLIP method via Ensemble Confident Learning to obtain a less noisy data subset. Extra rich non-paired single-modal text data is used for boosting the generalization of text branch. We achieve the state-of-the-art performance on Chinese cross-modal retrieval tasks with only 1/10 training resources compared to CLIP and WenLan, while showing excellent generalization to single-modal tasks, including text retrieval and text classification.

研究の動機と目的

• 大規模クロスモーダル事前学習の高い計算コストを低減すること。
• モデル性能を低下させる弱教師付きインターネットデータ内のデータノイズに対処すること。
• 豊富な非ペアドテキストデータを活用することで、単一モーダルNLPタスクへの一般化性能を向上させること。
• CLIP や WenLan が使用した学習リソースの1/10でクロスモーダルリtrievalで最先端性能を達成すること。
• 中国語アプリケーション向けに強力で効率的かつ汎用的なクロスモーダルモデルを開発すること。

提案手法

• 異なるエポックで訓練されたモデルをアンサンブルすることで、反復的にノイズの多い画像・テキストペアを特定・削除する Ensemble Confident Learning (ECL) を採用する。
• 異なる訓練段階における複数のシャローモデルの予測を用いてデータの信頼性を推定し、ノイズ検出を向上させる。
• 対照的学習（例：SimCSE風）およびマスキング言語モデリングを用いて、大規模な非ペアド単一モーダルテキストデータを自己教師付き事前学習に活用し、テキストエンコーダーを学習する。
• 視覚的表現の強化のため、CLIP の ViT-B/32 を画像エンコーダーの初期化に使用し、学習コストの低減と収束の改善を図る。
• データ蒸留と MMAP を用いたメモリマッピングを適用し、データ読み込みを高速化し、GPU メモリ使用量を削減する。
• ゼロショット設定でモデルを訓練し、微調整は主にテキスト分類タスクに限定する。

実験結果

リサーチクエスチョン

• RQ1 完全に教師ありラベルを必要とせずに、アンサンブル・コンフィデンス・ラーニングがクロスモーダル事前学習におけるデータノイズを効果的に低減できるか？
• RQ2 非ペアド単一モーダルテキストデータが、下流のNLPタスクにおけるクロスモーダルモデルの一般化性能を著しく向上させられるか？
• RQ3 CLIP や WenLan が使用した学習リソースの1/10で、中国語ベンチマークで最先端性能を達成できるか？
• RQ4 自己教師付き言語モデリングの統合が、クロスモーダルおよび単一モーダル両方の性能を向上させるか？
• RQ5 異なる訓練エポックにおける複数のシャローモデルの使用が、データフィルタリングとモデル収束をどのように改善するか？

主な発見

• EfficientCLIP は中国語クロスモーダルリtrieバルベンチマーク AIC-ICC で R@1 18.02% を達成し、WenLan より 3.6%、CLIP より 4.39% 高く、学習リソースは CLIP や WenLan の1/10で実現した。
• COCO テキストから画像へのリtrieバルタスクでは、EfficientCLIP が R@1 40.40% を達成し、CLIP の 38.34% を上回った。
• テキストリtrieバルタスク（LCQMC）では、EfficientCLIP が R@10 98.88% を達成し、CLIP（96.18%）と SimCSE（97.32%）を上回った。
• テキスト分類タスク（AFQMC）では、EfficientCLIP が 81.58% の正答率を達成し、CLIP（74.53%）と SimCSE（78.56%）を上回った。
• アンサンブルスコアのシャローモデルを用いることで、テキストリtrieバル性能が R@1 42.04% から 43.48% に向上し、モデルアンサンブルによるフィルタリングの有効性を示した。
• SimCSE の事前学習に 24 GPU日、EfficientCLIP の学習に 240 GPU日（CLIP や WenLan の1/10）を要したが、これにより効率性の向上が裏付けられた。