[論文レビュー] What to align in multimodal contrastive learning?

Benoit Dufumier, Javiera Castillo-Navarro+2 more|arXiv (Cornell University)|Sep 11, 2024

EFL/ESL Teaching and LearningArts and Humanities被引用数 3

ひとこと要約

この論文では、拡張されたマルチモーダル特徴を一致させることで、単純なクロスモダリティの冗長性をはるかに超えた、重複する情報、固有の情報、および協同効果的な情報を捉えるための対照的マルチモーダル自己教師付き学習手法CoMMを提案する。拡張されたマルチモーダル表現間の相互情報量を最大化することで、共有空間におけるモダリティ間の通信を可能にし、6つのマルチモーダルベンチマークで最先端の性能を達成するとともに、複雑なマルチモーダル相互作用を自然にモデル化する。

ABSTRACT

Humans perceive the world through multisensory integration, blending the information of different modalities to adapt their behavior. Contrastive learning offers an appealing solution for multimodal self-supervised learning. Indeed, by considering each modality as a different view of the same entity, it learns to align features of different modalities in a shared representation space. However, this approach is intrinsically limited as it only learns shared or redundant information between modalities, while multimodal interactions can arise in other ways. In this work, we introduce CoMM, a Contrastive MultiModal learning strategy that enables the communication between modalities in a single multimodal space. Instead of imposing cross- or intra- modality constraints, we propose to align multimodal representations by maximizing the mutual information between augmented versions of these multimodal features. Our theoretical analysis shows that shared, synergistic and unique terms of information naturally emerge from this formulation, allowing us to estimate multimodal interactions beyond redundancy. We test CoMM both in a controlled and in a series of real-world settings: in the former, we demonstrate that CoMM effectively captures redundant, unique and synergistic information between modalities. In the latter, CoMM learns complex multimodal interactions and achieves state-of-the-art results on the six multimodal benchmarks.

研究の動機と目的

• 既存の対照的マルチモーダル学習手法がモダリティ間の冗長情報しか捉えないという限界に対処すること。
• 統一された自己教師付きフレームワーク内で、冗長性、固有性、協同効果性のすべてのタイプのマルチモーダル相互作用をモデル化すること。
• 単一モダリティ特徴の強制的整合性ではなく、共有表現空間におけるモダリティ間の真正の通信を可能にする手法を開発すること。
• 相互情報量最大化から自然に共有、固有、協同効果的情報の項が生じる理論的根拠のあるアプローチを提供すること。
• タスク固有の監視やクロスモダリティ対照的制約に依存せずに、多様なマルチモーダルベンチマークで最先端の性能を達成すること。

提案手法

• CoMMはマルチモーダルエンコーダーを用い、複数のモダリティからの入力を1つの共有表現に統合する。
• マルチモーダル特徴にデータ拡張を適用し、これらの特徴の拡張ビュー間の相互情報量を最大化する。
• この手法は情報理論に裏打ちされており、相互情報量最大化が自然に冗長性（R）、固有性（U）、協同効果性（S）の成分を生じさせる。
• 先行手法とは異なり、クロスモダリティまたはイントラモダリティの制約を課さない。代わりに、対照的学習のための統合的エンティティとしてマルチモーダル表現を扱う。
• 既存のビジョンおよび言語バックボーン（例：CLIP、BLIP-2）と互換性があり、計算コストの増加が最小限である。
• このアプローチはグローバルワークスペース理論にインspiredされており、モダリティ間で統合され、広報される情報の共有表現空間をモデル化する。

Figure 1: a) We propose CoMM, a contrastive multimodal approach that allows the interplay of multiple modalities and learns multimodal interactions . Unlike previous multimodal models (Cross) that align cross-modal features, CoMM aligns multimodal features in a shared representation space. b) Multim

実験結果

リサーチクエスチョン

• RQ1 対照的学習を、モダリティ間の冗長情報に加え、固有情報および協同効果的情報を捉えるように再定義できるか？
• RQ2 自己教師付きマルチモーダル学習フレームワークは、クロスモダリティの整合性を強制せずに、共有表現空間におけるモダリティ間の通信をどのように可能にするか？
• RQ3 拡張されたマルチモーダル特徴間の相互情報量最大化が、マルチモーダル相互作用のより包括的な表現をどの程度得られるか？
• RQ4 マルチモーダル特徴に基づく対照的目的は、従来のクロスモダリティ対照的手法に比べて、複雑でタスクに依存しないマルチモーダル相互作用をより効果的に捉えることができるか？
• RQ5 このような手法は、多様なマルチモーダルベンチマークに一般化可能であり、タスク固有の微調整なしに最先端の性能を達成できるか？

主な発見

• CoMMは、MM-IMDb、Hateful Memes、Vision&Touchを含む6つのマルチモーダルベンチマークで最先端の性能を達成し、先行する対照的手法を上回る。
• 制御された実験では、CoMMはモダリティ間の冗長的・固有的・協同的情報成分を効果的に捉え、分離可能であることが示された。
• この手法は、拡張されたマルチモーダル特徴間の相互情報量最大化が、明示的な監視なしにR、U、Sの3つの情報項を自然に生じさせることを示した。
• CoMMは最小限の計算コスト増加で高い性能を維持しており、同じバックボーンを使用する場合、CLIPに比べてわずか30G FLOPsと5msのレイテンシ増加にとどまる。
• 画像・テキスト分類、動画行動認識、ロボット操作など多様なタスクに優れた一般化性能を示した。これは、複雑なマルチモーダル相互作用をモデル化できる能力のおかげである。
• 理論的分析により、CoMMの定式化が、共有表現と情報広報の認知的原則（グローバルワークスペース理論に類似）と整合していることが確認された。

Figure 2: CoMM’s model architecture. Inputs from different modalities $X=(X_{1},...,X_{n})$ are first encoded by modality-specific encoders. Modality-specific features are processed by latent converters to map them into sequences of embeddings which are concatenated and fused by a transformer block.