[論文レビュー] Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning

Weixin Liang, Yuhui Zhang+3 more|arXiv (Cornell University)|Mar 3, 2022

Multimodal Machine Learning Applications被引用数 98

ひとこと要約

本論文は、マルチモーダル対比表現におけるモダリティ間ギャップを特定・説明し、それが初期化による円錐効果に起因し、対比学習によって強化されることを示す。ギャップを操作することでゼロショット性能と公平性に影響を与える可能性がある。

ABSTRACT

We present modality gap, an intriguing geometric phenomenon of the representation space of multi-modal models. Specifically, we show that different data modalities (e.g. images and text) are embedded at arm's length in their shared representation in multi-modal models such as CLIP. Our systematic analysis demonstrates that this gap is caused by a combination of model initialization and contrastive learning optimization. In model initialization, we show empirically and theoretically that the representation of a common deep neural network is restricted to a narrow cone. As a consequence, in a multi-modal model with two encoders, the representations of the two modalities are clearly apart when the model is initialized. During optimization, contrastive learning keeps the different modalities separate by a certain distance, which is influenced by the temperature parameter in the loss function. Our experiments further demonstrate that varying the modality gap distance has a significant impact in improving the model's downstream zero-shot classification performance and fairness. Our code and data are available at https://modalitygap.readthedocs.io/

研究の動機と目的

• 複数のモダリティとアーキテクチャ全体でモダリティギャップが存在することを実証する。
• モダリティギャップの三部構成メカニズムを説明する：初期化からの円錐効果、ランダム円錐の違い、対比学習がギャップをどのように保持するか。
• ギャップ距離を変えると下流のゼロショット性能とタスク間の公平性がどのように変化するかを示す。

提案手法

• 埋め込みの経験的可視化（例：UMAP）による円錐形の埋め込み空間の可視化。
• 層間での円錐挙動とコサイン類似度に対する非線形活性化の影響の理論分析。
• ランダム初期化が異なる埋め込み円錐を生み出し、それがモダリティギャップに与える影響の分析。
• 温度パラメータとギャップが最適化に与える影響を調べるためのCLIPの損失地形評価。
• ギャップを縮小または拡大させた場合の対比損失への影響を評価する埋め込みシフト実験。
• 温度効果とギャップ操作を検討するための統制されたシミュレーションとファインチューニング。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル対比モデルで異なるモダリティとアーキテクチャ間にモダリティギャップは存在するか？
• RQ2 ギャップを生み出し維持する仕組み（初期化円錐効果、ランダム円錐のばらつき、対比学習のダイナミクス）は何か？
• RQ3 ギャップ距離を変更すると下流のゼロショット性能と公平性指標はどう変化するか？

主な発見

• 画像とテキストの埋め込み空間は、初期化がランダムであってもランダムノイズ入力であっても狭い円錐内に存在する。
• 異なるランダム初期化は別々の円錐を生み出し、マルチエンコーダモデルにおける初期化時のモダリティギャップを説明する。
• より深い層と非線形性はコサイン類似度を高め、円錐の狭さ（円錐効果）を増幅する。
• 対比学習はモダリティギャップを保持する傾向があり、温度は損失地形におけるギャップの反発構造に影響を与える。
• ギャップ距離を操作することでいくつかのタスクでゼロショット分類性能と公平性を改善できるが、効果はタスクと温度によって異なる。