[论文解读] i-Code: An Integrative and Composable Multimodal Learning Framework

Ziyi Yang, Yuwei Fang+18 more|arXiv (Cornell University)|May 3, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

i-Code 是一种自监督的、整合性的多模态框架，通过使用预训练的单模态编码器和一种具有跨模态注意力机制的新颖融合网络，将视觉、语音和语言表征相结合。它在五个视频理解任务和 GLUE 基准测试中实现了最先进（SOTA）的性能，通过在双模态和三模态数据上进行联合预训练，并采用掩码单元建模和对比学习目标，性能相比之前的方法最高提升了 11%。

ABSTRACT

Human intelligence is multimodal; we integrate visual, linguistic, and acoustic signals to maintain a holistic worldview. Most current pretraining methods, however, are limited to one or two modalities. We present i-Code, a self-supervised pretraining framework where users may flexibly combine the modalities of vision, speech, and language into unified and general-purpose vector representations. In this framework, data from each modality are first given to pretrained single-modality encoders. The encoder outputs are then integrated with a multimodal fusion network, which uses novel attention mechanisms and other architectural innovations to effectively combine information from the different modalities. The entire system is pretrained end-to-end with new objectives including masked modality unit modeling and cross-modality contrastive learning. Unlike previous research using only video for pretraining, the i-Code framework can dynamically process single, dual, and triple-modality data during training and inference, flexibly projecting different combinations of modalities into a single representation space. Experimental results demonstrate how i-Code can outperform state-of-the-art techniques on five video understanding tasks and the GLUE NLP benchmark, improving by as much as 11% and demonstrating the power of integrative multimodal pretraining.

研究动机与目标

• 为解决在缺乏大规模、完全标注的三模态数据的情况下，训练高效三模态模型（视觉、语言、语音）的挑战。
• 实现在统一表征空间内对单模态、双模态或三模态的灵活、动态处理。
• 通过利用大规模双模态数据集（如图文配对、语音转录、视频旁白）以及三模态数据，提升多模态表征学习效果。
• 通过跨模态预训练增强语言理解，缩小多模态模型与单模态语言模型在自然语言处理基准测试中的性能差距。
• 设计一种融合架构，通过新颖的注意力机制和自监督目标，有效整合最先进单模态编码器的输出。

提出的方法

• 使用预训练的单模态编码器（视觉、语音、语言）作为特征提取器，避免从零开始训练。
• 采用具有跨注意力机制的多模态融合网络，实现不同模态嵌入之间的交互。
• 应用掩码单元建模：将模态输入视为离散标记，在预训练过程中预测跨模态的掩码标记。
• 引入跨模态对比学习：判断两个输入信号（如图像和文本）是否源自同一组样本对或三元组。
• 在包括视频（V+L+S）、图文配对（V+L）、语音转录（S+L）和视频旁白（V+S）在内的多样化数据上进行端到端预训练，以提高数据效率。
• 使用共享表征空间，将不同模态组合的输出投影到统一的嵌入空间中。

实验结果

研究问题

• RQ1 多模态预训练框架能否在有限的三模态数据下，有效学习视觉、语言和语音之间的联合表征？
• RQ2 在双模态数据（如 V+L、S+L、V+S）上进行预训练，是否能比仅依赖三模态视频数据获得更好的性能？
• RQ3 具有新颖注意力机制的融合模块，是否能优于标准的融合策略，以更好地整合异构模态表征？
• RQ4 多模态模型在自然语言处理基准测试（如 GLUE）中，能在多大程度上匹配或超越单模态语言模型的性能？
• RQ5 掩码单元建模与对比学习的结合，如何提升跨模态对齐效果并增强下游任务的泛化能力？

主要发现

• i-Code 在五个视频理解基准测试中实现了最先进性能，部分情况下相比之前方法最高提升 11%。
• 在 GLUE 自然语言处理基准测试中，i-Code 的平均得分为 89.0，超过 DeBERTa V3 Base（88.6），显著优于其他多模态模型（如 UNITER 72.9 和 CLIP 50.5）。
• 与之前多模态模型相比，i-Code 在仅语言任务上的性能提升了 1.4–4.5 分，显著缩小了与专用语言模型的差距。
• 语言-语音（L+S）组合在 MOSEI 情感识别任务中表现最佳（F1：56.1），优于单模态。
• 在双模态数据上进行预训练（i-Code D+M）的性能与在三模态视频数据上进行预训练（i-Code V+M）相当或更优，证明了其数据效率。
• 消融研究证实，三种模态均对性能提升有贡献，其中 V+L+S 组合在 MOSEI 情感识别任务中达到最高准确率（49.4%）。