[論文レビュー] Factorized Contrastive Learning: Going Beyond Multi-view Redundancy

Paul Pu Liang, Zihao Deng+4 more|arXiv (Cornell University)|Jun 8, 2023

Multimodal Machine Learning Applications被引用数 15

ひとこと要約

FactorCL は、タスク関連情報を共有成分と独自成分に明示的に因子化し、MI ベースの境界とマルチモーダル拡張を用いて、複数視点の冗長性を超えた表現を学習します。六つのマルチモーダル benchmarks で最先端の結果を達成します。

ABSTRACT

In a wide range of multimodal tasks, contrastive learning has become a particularly appealing approach since it can successfully learn representations from abundant unlabeled data with only pairing information (e.g., image-caption or video-audio pairs). Underpinning these approaches is the assumption of multi-view redundancy - that shared information between modalities is necessary and sufficient for downstream tasks. However, in many real-world settings, task-relevant information is also contained in modality-unique regions: information that is only present in one modality but still relevant to the task. How can we learn self-supervised multimodal representations to capture both shared and unique information relevant to downstream tasks? This paper proposes FactorCL, a new multimodal representation learning method to go beyond multi-view redundancy. FactorCL is built from three new contributions: (1) factorizing task-relevant information into shared and unique representations, (2) capturing task-relevant information via maximizing MI lower bounds and removing task-irrelevant information via minimizing MI upper bounds, and (3) multimodal data augmentations to approximate task relevance without labels. On large-scale real-world datasets, FactorCL captures both shared and unique information and achieves state-of-the-art results on six benchmarks

研究の動機と目的

• 共有情報が少なく、独自情報が多い状況における標準的なマルチモーダル対比学習の限界を動機づけ、形式化する。
• 条件付き相互情報量を用いて、共有情報と固有情報を定義する。
• 表現を共有成分と固有成分に因子分解する FactorCL を提案し、MI の下限/上限境界で最適化する。
• ラベルなしでタスク関連性を近似するために、マルチモーダル拡張を組み込む。
• 合成データと実世界のマルチモーダルベンチマークで最先端の性能を示す。

提案手法

• FactorCL は、タスク関連情報を Z_S1, Z_S2（共有）および Z_U1, Z_U2（固有）に因子分解する。
• 共有情報/固有情報の MI の下限を最大化し（I_NCE）、I_NCE-CLUB によって上限を最小化してタスクに無関係な情報を除去する。
• 自己教師付き設定でタスク関連性を近似するために、単一モダリティおよびマルチモーダル拡張を用いる（I_NCE, I_NCE-CLUB は X1', X2' を用いて）。
• NCE および CLUB ベースの境界を用いた MI の扱いやすい推定量を提供し、エンドツーエンド学習のプラグイン目標を導出する。
• 明示的な因子分解と拡張スキームを備えた監督あり（FactorCL-SUP）および自己教師あり（FactorCL-SSL）バリアントを提示する。

実験結果

リサーチクエスチョン

• RQ1 モード間でタスク関連情報を共有成分と固有成分に効果的に分解できるか。
• RQ2 MI ベースの下限と上限が、共有情報と固有情報の両方を保持する表現の学習を可能にするか。
• RQ3 ラベルがなくてもマルチモーダル拡張がタスク関連性を近似し、対比学習を実務的に改善するか。
• RQ4 FactorCL は、共有/固有情報が異なる合成データおよび実世界データセットに対して、標準的な CL ベースラインと比較してどのように性能を発揮するか。
• RQ5 因子分解と上限情報削除の下流タスクへの実証的影響はどのようになるか。

主な発見

モデル	(X1;X2)	(Xi;Xi')	(X1;X2|Y)	(X2'')	因子化	MIMIC	MOSEI	MOSI	UR-FUNNY	MUStARD
SimCLR	✓	✗	✗	✗	✗	66.67%	71.03%	46.21%	50.09%	53.48%
Cross+Self	✓	✓	✗	✗	✗	65.20%	71.04%	46.92%	56.52%	53.91%
Cross+Self+Fact	✓	✓	✗	✗	✓	65.49%	71.07%	52.37%	59.91%	53.91%
OurCL-SSL	✓	✓	✓	✓	✗	65.22%	71.16%	48.98%	58.79%	53.98%
FactorCL-SSL	✓	✓	✓	✓	✓	67.34%	74.88%	52.91%	60.50%	55.80%
SupCon	✗	✗	✓	✗	✗	67.37%	72.71%	47.23%	50.98%	52.75%
OurCL-SUP	✓	✓	✓	✗	✗	68.16%	71.15%	65.32%	58.32%	65.05%
FactorCL-SUP	✓	✓	✓	✗	✓	76.79%	77.34%	70.69%	63.52%	69.86%

• FactorCL は、合成実験において独自情報が増えるにつれて SimCLR や SupCon などのベースラインを一貫して上回る。
• 合成データ上で FactorCL はより多くの独自情報を捉え、共有情報を競合他社より高く維持する。
• FactorCL-SSL および FactorCL-SUP は、FactorCL による因子分解を用いて、MultiBench データセット（特に MIMIC および MUStARD）で強力な結果を達成する。
• アブレーションは、因子分解と上限情報削除が、非因子化または下限のみの手法に比べて性能向上に不可欠であることを示す。
• FactorCL は、IRFL の画像キャプションおよび比喩的キャプションタスクを大幅に改善し、ゼロショットおよび一部設定で CLIP ベースラインを上回る。