[论文解读] Geometric Multimodal Contrastive Representation Learning

Petra Poklukar, Miguel Vasco+4 more|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

该论文提出几何多模态对比学习（GMC）表示学习，一种两级神经网络框架，包含模态特定编码器和共享投影头，通过一种新颖的对比损失函数对齐模态特定表示与完整多模态表示。GMC在表示学习、预测和强化学习任务中，在模态缺失条件下均实现了最先进性能，同时计算效率高，参数量相比基线模型最多减少90%。

ABSTRACT

Learning representations of multimodal data that are both informative and robust to missing modalities at test time remains a challenging problem due to the inherent heterogeneity of data obtained from different channels. To address it, we present a novel Geometric Multimodal Contrastive (GMC) representation learning method consisting of two main components: i) a two-level architecture consisting of modality-specific base encoders, allowing to process an arbitrary number of modalities to an intermediate representation of fixed dimensionality, and a shared projection head, mapping the intermediate representations to a latent representation space; ii) a multimodal contrastive loss function that encourages the geometric alignment of the learned representations. We experimentally demonstrate that GMC representations are semantically rich and achieve state-of-the-art performance with missing modality information on three different learning problems including prediction and reinforcement learning tasks.

研究动机与目标

• 为解决在推理时模态缺失条件下，学习兼具语义丰富性与鲁棒性的多模态表示的挑战。
• 克服多模态表示学习中的异质性差距，即不同模态（如视觉、语言、音频）具有不同的数据分布。
• 开发一种方法，实现在共享潜在空间中对模态特定表示与完整多模态表示进行几何对齐。
• 确保在推理时模态缺失的情况下，下游任务（如预测和强化学习）仍具鲁棒性。
• 构建一种可泛化、高效且可集成的框架，在部分观测场景下优于现有生成式与融合式模型。

提出的方法

• GMC框架采用两级架构：模态特定的基础编码器将各模态处理为固定维度的中间表示，随后通过共享投影头将其映射到共享潜在空间。
• 提出一种新颖的多模态对比损失函数 $\mathcal{L}_{\text{GMC}}$，显式对齐潜在空间中模态特定表示 $z_1, z_2$ 与对应完整表示 $z_{1:2}$。
• 对比损失利用正样本对（对齐的模态特定表示与完整表示）和负样本对（来自不同样本的表示）来促进几何对齐与语义一致性。
• 该方法可扩展至任意数量的模态，并可无缝集成到现有模型中，无需架构重构。
• 框架采用受NT-XEnt启发的温度缩放对比目标，温度超参数 $\tau$ 控制对比分布的锐度。
• 共享投影头与对比损失端到端联合训练，使模型能够学习到语义丰富且鲁棒的表示。

实验结果

研究问题

• RQ1 对比学习框架能否通过几何对齐模态特定表示与完整多模态表示，提升在模态缺失条件下的鲁棒性？
• RQ2 当模态缺失时，GMC与现有生成式模型（如MVAE、MMVAE）和融合式模型（如MFM、Multimodal Transformer）相比，在性能与鲁棒性方面表现如何？
• RQ3 在零样本模态缺失场景下，GMC在下游任务（如预测与强化学习）中性能保持程度如何？
• RQ4 GMC的性能对温度 $\tau$ 等超参数的敏感程度如何？
• RQ5 GMC能否在显著减少参数量的前提下实现最先进性能，从而体现更高的效率？

主要发现

• GMC在模态缺失信息的下游任务中实现了最先进性能，全面优于MVAE、MUSE等所有评估基线模型。
• 在Pendulum强化学习任务中，即使推理时模态缺失，GMC仍能实现与全感知智能体相当的零样本迁移性能。
• GMC在不同超参数（包括温度 $\tau$ 以及表示维度 $d$ 和 $s$）下均保持高性能与几何对齐性（以DCA分数衡量）。
• GMC实现此性能的同时，参数量相比最小基线模型最多减少90%，展现出显著的计算效率。
• 消融研究证实，GMC对超参数变化具有鲁棒性，且使用完整观测作为负样本对会降低性能，验证了对比损失设计的合理性。
• UMAP可视化显示，仅GMC学习到模态特定表示与完整表示在几何上对齐的表示，而MVAE、MMVAE、Nexus、MUSE和MFM均未实现此效果。