[论文解读] Identifiability Results for Multimodal Contrastive Learning

Imant Daunhawer, Alice Bizeul+3 more|arXiv (Cornell University)|Mar 16, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文通过为每种模态建模特定的生成机制并引入模态特异性潜在变量，建立了多模态对比学习的理论可识别性结果。证明了即使在潜在组件之间存在非平凡的因果和统计依赖关系时，对比学习仍能实现共享内容因子的块识别，该结论通过受控模拟和具有高维观测值的复杂图像/文本数据集得到验证。

ABSTRACT

Contrastive learning is a cornerstone underlying recent progress in multi-view and multimodal learning, e.g., in representation learning with image/caption pairs. While its effectiveness is not yet fully understood, a line of recent work reveals that contrastive learning can invert the data generating process and recover ground truth latent factors shared between views. In this work, we present new identifiability results for multimodal contrastive learning, showing that it is possible to recover shared factors in a more general setup than the multi-view setting studied previously. Specifically, we distinguish between the multi-view setting with one generative mechanism (e.g., multiple cameras of the same type) and the multimodal setting that is characterized by distinct mechanisms (e.g., cameras and microphones). Our work generalizes previous identifiability results by redefining the generative process in terms of distinct mechanisms with modality-specific latent variables. We prove that contrastive learning can block-identify latent factors shared between modalities, even when there are nontrivial dependencies between factors. We empirically verify our identifiability results with numerical simulations and corroborate our findings on a complex multimodal dataset of image/text pairs. Zooming out, our work provides a theoretical basis for multimodal representation learning and explains in which settings multimodal contrastive learning can be effective in practice.

研究动机与目标

• 为多模态数据形式化一种更通用的生成模型，以区分模态特异性和共享潜在因子。
• 将先前在多视图设置下的可识别性结果扩展到具有不同生成机制的多模态设置。
• 证明对比学习可在因子之间存在非平凡依赖关系时，恢复共享潜在因子至块级不确定性。
• 通过数值模拟和一个具有解耦因子的复杂图像/文本数据集，实证验证理论发现。

提出的方法

• 使用模态特异性混合函数和共享潜在因子，形式化多模态生成过程，区分内容、风格和模态特异性组件。
• 引入一个潜在变量模型，其中每种模态具有独立的生成机制和模态特异性潜在变量。
• 证明通过InfoNCE目标的对比学习即使在组件之间存在依赖关系时，也能实现共享潜在因子的块识别。
• 使用核岭回归通过从学习到的嵌入预测真实因子来评估表示质量。
• 设计一个合成多模态数据集（Multimodal3DIdent），其可控因子包括内容与风格之间的因果依赖。
• 在图像对和图像-文本对上训练对比模型，通过R2分数和分类准确率衡量性能，分别针对连续和离散因子。

实验结果

研究问题

• RQ1 在每种模态具有不同生成机制的多模态设置下，对比学习能否识别共享潜在因子？
• RQ2 当潜在组件之间存在非平凡依赖关系时，对比学习在何种条件下能恢复共享因子？
• RQ3 模态特异性变化如何影响对比学习中共享内容因子的可识别性？
• RQ4 在高维、现实的设置中，学习到的表示在多大程度上编码了内容因子，而非风格或模态特异性因子？
• RQ5 理论可识别性在具有连续和离散因子的复杂多模态数据集上是否在实践中成立？

主要发现

• 当编码容量充足时，对比学习在图像对中成功实现了内容因子（如物体位置）的块识别，R2分数较高。
• 即使增加编码大小，风格和模态特异性因子也基本被模型丢弃，表明具有鲁棒的解耦性。
• 在风格与内容之间存在因果依赖的设置中，部分风格信息被恢复，与理论预期一致。
• 在Multimodal3DIdent数据集中，模型在从表示中预测真实内容因子方面表现优异，R2分数接近1.0，适用于物体位置和形状。
• 在图像/文本对上的实证结果表明，内容因子被有效编码，而离散和连续的风格因子未被保留，支持理论主张。
• 这些发现适用于不同的编码大小，并在三个随机种子下均保持稳定，所有实验均表现出一致的性能区间。