[論文レビュー] Connecting Multi-modal Contrastive Representations

Zehan Wang, Yang Zhao+9 more|arXiv (Cornell University)|May 22, 2023

Multimodal Machine Learning Applications被引用数 13

ひとこと要約

C-MCR は、ペアデータなしでクロスモーダル表現を学習し、既存の MCR を重複するモダリティを介して接続することで、オーディオ-ビジュアルタスクと3D-言語タスクで最先端のゼロショット結果を達成します。

ABSTRACT

Multi-modal Contrastive Representation learning aims to encode different modalities into a semantically aligned shared space. This paradigm shows remarkable generalization ability on numerous downstream tasks across various modalities. However, the reliance on massive high-quality data pairs limits its further development on more modalities. This paper proposes a novel training-efficient method for learning MCR without paired data called Connecting Multi-modal Contrastive Representations (C-MCR). Specifically, given two existing MCRs pre-trained on (A, B) and (B, C) modality pairs, we project them to a new space and use the data from the overlapping modality B to aligning the two MCRs in the new space. Meanwhile, since the modality pairs (A, B) and (B, C) are already aligned within each MCR, the connection learned by overlapping modality can also be transferred to non-overlapping modality pair (A, C). To unleash the potential of C-MCR, we further introduce a semantic-enhanced inter- and intra-MCR connection method. We first enhance the semantic consistency and completion of embeddings across different modalities for more robust alignment. Then we utilize the inter-MCR alignment to establish the connection, and employ the intra-MCR alignment to better maintain the connection for inputs from non-overlapping modalities. To demonstrate the effectiveness of C-MCR, we connect CLIP and CLAP via texts to derive audio-visual representations, and integrate CLIP and ULIP via images for 3D-language representations. Remarkably, without using any paired data, C-MCR for audio-visual achieves state-of-the-art performance on audio-image retrieval, audio-visual source localization, and counterfactual audio-image recognition tasks. Furthermore, C-MCR for 3D-language also attains advanced zero-shot 3D point cloud classification accuracy on ModelNet40.

研究の動機と目的

• ペアデータが乏しいまたは利用できない場合でも、堅牢なマルチモーダル表現を学習する動機づけ。
• 事前学習済み MCR 空間を重なり合うモダリティを介して接続する軽量手法を提案。
• モダリティ間およびモダリティ内の戦略を用いて意味的整合性を強化し、モダリティ間のギャップを縮小。
• オーディオ-ビジュアルおよび3D-言語タスクでアプローチを実証し、強力なゼロショット性能を示す。

提案手法

• 2つの事前学習済み MCR からの埋め込みを共有空間に写像する2つの単純なプロジェクターを学習する形式的定式化。
• モジュール間意味論的一貫性とモノイド内意味論的完備性からなる意味的強化を導入。
• テキストガイドの射影と2つの対比損失（L_ttc と L_avc）を用いて、MCR 間の整合性を確立。
• 非重複モダリティ間の接続を維持するため、モダリティギャップを縮小するモノリティ内整합で補完する。
• 凍結エンコーダとオフラインメモリで訓練し、2つのプロジェクターのみを損失 L = L_inter + λ L_intra で最適化。
• フレームワークを適用して、オーディオ-ビジュアルタスクの CLIP と CLAP の接続、および 3D-言語タスクの CLIP と ULIP の接続を行う。

実験結果

リサーチクエスチョン

• RQ1 ペアデータを大規模に依存せずに既存の MCR 空間を接続できるか。
• RQ2 重なり合うモダリティをどのように活用して、非重複モダリティ対への整合性を転移できるか。
• RQ3 意味的強化とモノリティ内整合が、学習された接続の堅牢性と転移性を向上させるか。
• RQ4 C-MCR によってオーディオ-ビジュアルおよび3D-言語タスクでどの程度のゼロショット性能向上が得られるか。

主な発見

• C-MCR は、トレーニングデータとしてペアデータを一切使用せずに、オーディオ-ビジュアルタスクで最先端のゼロショット性能を達成する。
• オーディオ-ビジュアルタスクにおいて、C-MCR は6つのデータセットと3つの下流タスク（オーディオ-ビジュアル検索、局在、反事実認識）で強力なゼロショット結果を得る。
• 3D-言語タスクでは、C-MCR は高度なゼロショット ModelNet40 分類精度を達成する。
• 凍結エンコーダと2つの学習可能なプロジェクターのみを使用し、訓練を効率化しパラメータを小さく保つ。
• 意味的に強化されたモジュール間およびモジュール内の接続により、CLIP/CLAP 間および ULIP/CLIP 間の画像を介した転移可能な整合性を実現する。