[論文レビュー] Robust Cross-Modal Representation Learning with Progressive Self-Distillation

Alex Andonian, Shixing Chen+1 more|arXiv (Cornell University)|Apr 10, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文は、ウェブから収集されたデータセットにおけるノイズの多い多対多の対応関係に対応するため、トレーニング中に動的にソフトな画像・テキストアライメントターゲットを生成することで、ロバストなクロスモodal表現学習を実現するプログレッシブ自己蒸留フレームワークを提案する。トレーニングエポックに跨って自身の知識を蒸留することで、追加の計算コストを要せずCLIPを上回るゼロショット分類、線形プローブ、リtrieval性能を達成し、分布シフトに対してより高いロバスト性を示し、データサイズに応じてスケーリング可能である。

ABSTRACT

The learning objective of vision-language approach of CLIP does not effectively account for the noisy many-to-many correspondences found in web-harvested image captioning datasets, which contributes to its compute and data inefficiency. To address this challenge, we introduce a novel training framework based on cross-modal contrastive learning that uses progressive self-distillation and soft image-text alignments to more efficiently learn robust representations from noisy data. Our model distills its own knowledge to dynamically generate soft-alignment targets for a subset of images and captions in every minibatch, which are then used to update its parameters. Extensive evaluation across 14 benchmark datasets shows that our method consistently outperforms its CLIP counterpart in multiple settings, including: (a) zero-shot classification, (b) linear probe transfer, and (c) image-text retrieval, without incurring added computational cost. Analysis using an ImageNet-based robustness test-bed reveals that our method offers better effective robustness to natural distribution shifts compared to both ImageNet-trained models and CLIP itself. Lastly, pretraining with datasets spanning two orders of magnitude in size shows that our improvements over CLIP tend to scale with number of training examples.

研究の動機と目的

• ウェブから収集されたデータセットにおける1対1の対応関係を仮定するCLIPのデータおよび計算の非効率性を是正すること。
• CLIPが無視するネガティブサンプル間の意味的類似性をモデル化することで、クロスモダリティ表現学習におけるロバスト性を向上させること。
• 外部の監督信号やノイズの多いデータの補正を必要とせず、動的にソフトなアライメントターゲットを生成する自己蒸留フレームワークを開発すること。
• 推論効率を維持したまま、分布シフトに対してより良い下流性能とロバスト性を達成すること。
• 性能向上がトレーニングデータサイズに比例することを示し、より広範な適用可能性を実現すること。

提案手法

• 学生モデルが自身の進化するパラメータに基づいて生成されるソフトなアライメントターゲットから、段階的に学習する学生・教師フレームワークを採用する。
• 各ミニバッチにおいて、ランダムに選択された画像とキャプションに、モデルの現在の予測に基づいてソフトなアライメントターゲットが割り当てられ、誤ってアライメントされたペアの動的再キャリブレーションが可能になる。
• 学生モデルが自身の誤りを強化しないようにするため、表現の崩壊を防ぐためにスワップ予測戦略を採用する。
• 動的なパーティショニング戦略により、トレーニングの進行に伴いソフトアライメント生成に使用するサンプルの割合を段階的に増加させ、プログレッシブな知識蒸留を実現する。
• 対照的損失はこれらのソフトターゲットを最適化することで、より一貫性がありロバストな共同埋め込み空間を学習可能になる。
• 計算効率が高く、既存のCLIPスタイルのトレーニングパイプラインと互換性があり、追加のパラメータや計算コストを要しない。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い多対多の画像・テキストデータセットにおけるクロスモダリティ表現学習において、ソフトなアライメントターゲットを用いた自己蒸留はロバスト性を向上させ得るか？
• RQ2 ネガティブサンプル間の意味的類似性をモデル化することは、ハードネガティブマイニングや標準的な対照的学習と比較して、より良い下流性能とロバスト性をもたらすか？
• RQ3 CLIPと比較して、提案手法の性能はトレーニングデータサイズの増加に伴いどのようにスケーリングするか？
• RQ4 表現の崩壊や誤りの強化を防ぎつつ、モデルが自身の予測から知識を効果的に蒸留できるか？
• RQ5 CLIP や ImageNet プリトレイニングモデルと比較して、自然な分布シフトに対してより優れた有効なロバスト性を達成できるか？

主な発見

• 提案手法は、追加の計算コストを要せず、14のベンチマークデータセットにおいてゼロショット分類、線形プローブ、画像・テキストリtrievalの全分野でCLIPを上回る性能を達成した。
• ImageNet-Rのロバストネスベンチマークでは、CLIPおよびImageNetプリトレイニングモデルと比較して、自然な分布シフトに対して優れた有効なロバストネスを示した。
• COCOプリトレイニングにおいて、ゼロショットImageNet Top-1精度は23.51%に達し、CLIPベースラインを上回った。リtrievalタスクでは、平均リランキング1位リ call (MS R1) が28.48%に達した。
• アブレーションスタディの結果、モデルの事後分布から直接ブートストラップすると性能が低下するが、提案された動的パーティショニングおよびスワップ予測戦略により、ベースライン性能を回復・上回ることが確認された。
• CLIPに対する性能向上はトレーニングデータサイズに比例して増大しており、より大きなデータセットにおいても優れた一般化可能性を示している。
• 定性的な分析から、本手法はテキストクエリの複数の側面に一致する画像をより包括的に検索でき、CLIPが単一の属性に過剰に注目するのとは対照的に、より包括的な意味的マッチを捉えていることがわかった。