[論文レビュー] Geodesic Multi-Modal Mixup for Robust Fine-Tuning

Changdae Oh, Junhyuk So+5 more|arXiv (Cornell University)|Mar 8, 2022

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

本稿では、ハイパースフィア上での地図的補間を用いて画像およびテキスト埋め込みの間でハードネガティブサンプルを生成することにより、CLIPなどの事前学習済みマルチモodalモデルのロバスト性と転移性を向上させる、Geodesic Multi-Modal Mixup (m²-Mix) という新しいファインチューニング手法を提案する。埋め込み空間におけるアライメントと一様性の両方を強化することで、m²-Mix は分布シフト下のリtrieval、少サンプル分類、画像キャプション生成の各タスクで最先端の性能を達成する。

ABSTRACT

Pre-trained multi-modal models, such as CLIP, provide transferable embeddings and show promising results in diverse applications. However, the analysis of learned multi-modal embeddings is relatively unexplored, and the embedding transferability can be improved. In this work, we observe that CLIP holds separated embedding subspaces for two different modalities, and then we investigate it through the lens of uniformity-alignment to measure the quality of learned representation. Both theoretically and empirically, we show that CLIP retains poor uniformity and alignment even after fine-tuning. Such a lack of alignment and uniformity might restrict the transferability and robustness of embeddings. To this end, we devise a new fine-tuning method for robust representation equipping better alignment and uniformity. First, we propose a Geodesic Multi-Modal Mixup that mixes the embeddings of image and text to generate hard negative samples on the hypersphere. Then, we fine-tune the model on hard negatives as well as original negatives and positives with contrastive loss. Based on the theoretical analysis about hardness guarantee and limiting behavior, we justify the use of our method. Extensive experiments on retrieval, calibration, few- or zero-shot classification (under distribution shift), embedding arithmetic, and image captioning further show that our method provides transferable representations, enabling robust model adaptation on diverse tasks. Code: https://github.com/changdaeoh/multimodal-mixup

研究の動機と目的

• 事前学習済みマルチモーダルモデル（例：CLIP）における不良な一様性とアライメントを是正すること。これは、その転移性とロバスト性を制限する要因である。
• 画像とテキスト埋め込みが分離された部分空間を形成し、広大な未探索領域を有する二部構造の埋め込み空間であるCLIPの構造的限界を解明すること。
• ハイパースフェア上での意味のあるハードネガティブサンプルを生成することにより、表現品質を向上させるファインチューニング手法を開発すること。
• 異種モダリティ間の地図的補間が対照学習に有効であることを理論的および実験的に裏付けること。
• 少サンプル分類、リtrieval、画像キャプション生成を含む多様な下流タスクにおいて、本手法の有効性を検証すること。

提案手法

• L2正規化された画像およびテキスト埋め込み間で地図的補間を実行し、ハイパースフェア上に新たな多様なネガティブサンプルを生成する、地図的マルチモーダルミックス（m²-Mix）を提案する。
• 生成された混合埋め込みを対照学習におけるハードネガティブペアとして用い、ネガティブペアの難易度を明示的に高めることで、アライメントを向上させる。
• 標準的なCLIPの対照学習損失とm²-Mixに基づく対照学習損失を組み合わせた対称的損失関数を採用し、アライメントと一様性の両方を同時に最適化する。
• 温度スケーリング下での極限的挙動解析を通じて、m²-Mixサンプルの難易度を理論的に裏付ける。これにより、最適なアライメントと一様性への収束が示される。
• マルチモーダル対照学習に特化した、アライメントと一様性の修正定式化を導入し、表現品質の定量的分析を可能にする。
• 地図的補間により混合埋め込みが単位ハイパースフィア上に位置することを制約することで、安定性と幾何学的整合性を確保する。

実験結果

リサーチクエスチョン

• RQ1 CLIPの事前学習済み埋め込み空間は、ファインチューニング後でさえも、その二部構造に起因して不良な一様性とアライメントを示すのか？
• RQ2 異種モダリティ（画像とテキスト）間の地図的補間は、対照学習を向上させる有効なハードネガティブサンプルを生成できるのか？
• RQ3 提案手法m²-Mixはマルチモーダル表現学習におけるアライメントと一様性の両方を向上させるのか？
• RQ4 m²-Mixは分布シフト下での下流タスクの転移性とロバスト性をどの程度向上させるのか？
• RQ5 表現品質と一般化性能の観点から、m²-Mixは温度ベースの再重み付けや他のデータオーグメンテーション戦略と比較して優れているのか？

主な発見

• CLIPは、その二部構造に起因して、ファインチューニング後でさえも不良な一様性とアライメントを示し、これが転移性を制限する。
• m²-Mixは、ポジティブペアに非常に類似したハードネガティブサンプルを生成し、アライメントのための強力な学習信号を提供する。
• 理論的分析により、大バッチ設定下でm²-Mixが漸近的に一様性を最大化することが示され、最適な一様性挙動への収束が確認された。
• 広範な実験により、m²-Mixがゼロショットおよび少サンプル分類の性能を向上させ、特に分布シフト下で標準的なファインチューニングや温度ベースのベースラインを上回ることが示された。
• m²-Mixはリtrievalおよび画像キャプションベンチマークで最先端の結果を達成しており、一般化性能とロバスト性の向上を示している。
• 仮想的で混合されたサンプルを用いることで、有効な埋め込み空間を拡張し、分布外のサンプルに対するロバスト性を向上させた。