[论文解读] LanguageBind: Extending Video-Language Pretraining to N-modality by Language-based Semantic Alignment

Bin Zhu, Bin Lin+12 more|arXiv (Cornell University)|Oct 3, 2023

Multimodal Machine Learning Applications被引用 25

一句话总结

LanguageBind 将视频-语言预训练扩展到 N 种模态，通过直接将所有模态对齐到语言空间，引入 VIDAL-10M，包含 10M 个语言对齐的多模态对，且在 VL、IL、DL、AL 任务上实现强大的零样本检索与分类结果。

ABSTRACT

The video-language (VL) pretraining has achieved remarkable improvement in multiple downstream tasks. However, the current VL pretraining framework is hard to extend to multiple modalities (N modalities, N>=3) beyond vision and language. We thus propose LanguageBind, taking the language as the bind across different modalities because the language modality is well-explored and contains rich semantics. Specifically, we freeze the language encoder acquired by VL pretraining, then train encoders for other modalities with contrastive learning. As a result, all modalities are mapped to a shared feature space, implementing multi-modal semantic alignment. While LanguageBind ensures that we can extend VL modalities to N modalities, we also need a high-quality dataset with alignment data pairs centered on language. We thus propose VIDAL-10M with Video, Infrared, Depth, Audio and their corresponding Language, naming as VIDAL-10M. In our VIDAL-10M, all videos are from short video platforms with complete semantics rather than truncated segments from long videos, and all the video, depth, infrared, and audio modalities are aligned to their textual descriptions. LanguageBind has achieved superior performance on a wide range of 15 benchmarks covering video, audio, depth, and infrared. Moreover, multiple experiments have provided evidence for the effectiveness of LanguageBind in achieving indirect alignment and complementarity among diverse modalities. Code address: https://github.com/PKU-YuanGroup/LanguageBind

研究动机与目标

• 以语言作为绑定语义锚点，推动将视频-语言预训练扩展到超越视觉和语言的 N 种模态。
• 冻结来自 VL 预训练的语言编码器，使用对比学习训练其他模态的编码器，将所有模态映射到共享语义空间。
• 创建一个大规模、直接语言对齐的多模态数据集（VIDAL-10M），覆盖 VL、IL、DL 和 AL，以支持可扩展的预训练。
• 通过直接基于语言的对齐，展示在视频、深度、红外和音频模态上的零样本检索与分类的提升。

提出的方法

• 对非语言模态使用来自 OpenCLIP-large 的权重初始化的 24 层视觉变换器编码器；将深度和红外视为与 RGB 等价；将音频转换为 10 秒的频谱图并复制通道。
• 在编码阶段应用基于补丁的掩蔽和 MAE 风格的标记掩蔽，以提高效率。
• 在冻结语言编码器的同时，使用 LoRA 微调模态编码器，以实现高效的多模态对齐。
• 使用从 OpenCLIP 初始化的 12 层语言变换器对文本进行编码并生成对齐用的文本 logits。
• 优化双向对比目标（L_M2T 和 L_T2M），在共享嵌入空间中将每个模态与语言对齐。

实验结果

研究问题

• RQ1 基于语言的直接对齐能否在不使用图像作为中介的情况下，实现在 VL 预训练向 N 种模态的可扩展扩展？
• RQ2 使用冻结语言编码器的对比学习是否能有效将深度、红外、音频和其他模态对齐到语言？
• RQ3 一个大规模、语言对齐的 VIDAL-10M 数据集对零样本检索和特定模态的分类任务有何影响？
• RQ4 在视频-语言与跨模态基准测试上，LanguageBind 相对于先前的多模态方法的相对增益是多少？

主要发现

• LanguageBind 在 MSR-VTT、MSVD、DiDeMo 和 ActivityNet 上的零样本视频文本检索达到当前最先进水平，相较于若干基线。
• LanguageBind 在深度（NYU-D）和红外（LLVIP）分类方面相较 ImageBind 和 OpenCLIP 基线显示出显著的零样本提升。
• LanguageBind 在 Clotho 与 Audiocaps 上的零样本音频-语言检索有所提升，优于 AVFIC 和 ImageBind。
• VIDAL-10M 提供直接的语言对齐数据用于 VL、IL、DL 和 AL，在 MSR-VTT 和 MSVD 的零样本评估中，优于 HowTo100M 的子集。
• 实验表明，该方法受益于直接语言对齐、新兴的跨模态检索，以及对多模态的有效互补使用。