[论文解读] Bootstrapping Vision-Language Learning with Decoupled Language Pre-training

Yiren Jian, Chong Gao+1 more|arXiv (Cornell University)|Jul 13, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出了一种向后解耦的训练框架，通过先利用仅包含单模态文本数据训练的 P-Former 模型学习最优语言提示，然后将视觉特征对齐到这些提示上，从而提升视觉-语言预训练效果。该方法显著缩小了在 400 万和 1.29 亿张图像-文本对上训练的模型之间的性能差距，以极低的计算开销提升了 BLIP-2 的性能。

ABSTRACT

We present a novel methodology aimed at optimizing the application of frozen large language models (LLMs) for resource-intensive vision-language (VL) pre-training. The current paradigm uses visual features as prompts to guide language models, with a focus on determining the most relevant visual features for corresponding text. Our approach diverges by concentrating on the language component, specifically identifying the optimal prompts to align with visual features. We introduce the Prompt-Transformer (P-Former), a model that predicts these ideal prompts, which is trained exclusively on linguistic data, bypassing the need for image-text pairings. This strategy subtly bifurcates the end-to-end VL training process into an additional, separate stage. Our experiments reveal that our framework significantly enhances the performance of a robust image-to-text baseline (BLIP-2), and effectively narrows the performance gap between models trained with either 4M or 129M image-text pairs. Importantly, our framework is modality-agnostic and flexible in terms of architectural design, as validated by its successful application in a video learning task using varied base modules. The code will be made available at https://github.com/yiren-jian/BLIText.

研究动机与目标

• 解决使用冻结的大规模语言模型进行端到端视觉-语言预训练时，视觉特征与语言生成之间对齐难以优化的挑战。
• 通过改善提示对齐，缩小在小规模（400 万）和大规模（1.29 亿）图像-文本数据集上预训练的模型之间的性能差距。
• 并非通过选择相关视觉特征（前向解耦）来解耦训练过程，而是首先为每个目标文本确定理想的语言提示。
• 通过在独立于视觉数据的单模态文本数据上训练 P-Former，实现模态无关、架构灵活的视觉-语言学习。
• 通过使在普通硬件上实现高性能预训练成为可能，降低视觉-语言研究的入门门槛。

提出的方法

• 提出一种新颖的向后解耦训练范式：首先，仅使用语言数据，确定能触发冻结的大规模语言模型生成目标文本 $ t $ 的最优连续提示 $ p $。
• 训练一个提示转换器（P-Former），以 $ p = E_{\text{P-Former}}(t) $ 的形式预测这些理想提示，使用因果语言模型作为解码器，在自编码器设置中进行训练。
• 使用重建损失 $ \text{L}_{\text{recon}} $ 和对比损失联合训练 P-Former，确保语义相似的句子生成相似的提示嵌入，模仿 SimCSE。
• 引入一种新的对齐损失 $ \text{L}_{\text{alignment}} $，最小化视觉特征（用作提示）与参考提示 $ E_{\text{P-Former}}(t) $ 之间的距离，从而实现更好的视觉-文本对齐。
• 将该框架应用于 BLIP-2，通过在训练第二阶段加入 $ \text{L}_{\text{alignment}} $，而无需修改视觉编码器或大规模语言模型。
• 通过在视频字幕任务中应用该框架（使用 I3D 视频编码器和基于 Transformer 的适配器）验证其泛化能力，证明其在模态上的通用适用性。

Figure 1: left: End-to-end training of X-to-language models (where X can be images, videos, or audio), in which aligned input features are provided as prompts to LLMs. Examples include Frozen [ 29 ] and ClipCap [ 46 ] . middle: “Forward-decoupled training” as demonstrated in BLIP-2 [ 34 ] and X-LLM

实验结果

研究问题

• RQ1 我们能否通过不在视觉特征选择阶段（前向解耦）解耦训练过程，而是在语言提示优化阶段解耦，来改善视觉-语言预训练？
• RQ2 仅在文本数据上训练的单模态语言模型能否学习到有意义且语义丰富的提示，使其与视觉特征在下游生成任务中良好对齐？
• RQ3 在不依赖视觉数据的情况下独立学习理想提示，然后将视觉特征对齐到这些提示上，是否能提升性能，尤其是在训练数据有限的情况下？
• RQ4 该框架能否在不同模态（如视频）和不同视觉-语言架构中通用，而无需进行架构重构？
• RQ5 该方法在多大程度上缩小了在小规模与大规模图像-文本数据集上训练的模型之间的性能差距？

主要发现

• P-Former 成功从文本数据中学习生成语义有意义的提示，其对比损失有效支持了句子嵌入的学习。
• 加入 $ \text{L}_{\text{alignment}} $ 损失后，BLIP-2 性能显著提升，大幅缩小了在 400 万和 1.29 亿图像-文本对上训练的模型之间的性能差距。
• 在 COCO 图像字幕基准测试中，该框架将 BLIP-2 的 CIDEr 得分从 120.8 提升至 123.5，显示出生成质量的显著提升。
• 在视频字幕任务中，该框架在 VATEX 数据集上将 CIDEr 得分从 56.6 提升至 60.9，尽管仅使用了 2.6 万段视频——远少于当前最先进方法 VideoCoCa 所用的 1000 万段视频。
• 该方法具有模态无关性：成功通过冻结的 I3D 编码器和简单的 Transformer 适配器提升了视频字幕模型，展现出广泛的架构灵活性。
• 该框架可在普通硬件（8 × RTX-A6000）上实现高性能视觉-语言预训练，训练时间不足 4 天，显著降低了研究的资源门槛。

Figure 2: Overview of P-Former. left: The P-Former training resembles an autoencoder, with the bidirectional P-Former as the encoder and a causal LLM (frozen) as the decoder. The objective is to reconstruct input text auto-regressively. The [CLS] representation serves as sentence embeddings, which a