[论文解读] Align before Fuse: Vision and Language Representation Learning with Momentum Distillation

Junnan Li, Ramprasaath R. Selvaraju+4 more|arXiv (Cornell University)|Jul 16, 2021

Multimodal Machine Learning Applications参考文献 60被引用 822

一句话总结

ALBEF 在融合前引入图像-文本对比对齐，并使用动量蒸馏以利用嘈杂的网络数据，在多项视觉-语言任务上达到 state-of-the-art，且不需要边界框。它联合学习单模态与多模态表示，并使用动量教师来为自我训练生成伪目标。

ABSTRACT

Large-scale vision and language representation learning has shown promising improvements on various vision-language tasks. Most existing methods employ a transformer-based multimodal encoder to jointly model visual tokens (region-based image features) and word tokens. Because the visual tokens and word tokens are unaligned, it is challenging for the multimodal encoder to learn image-text interactions. In this paper, we introduce a contrastive loss to ALign the image and text representations BEfore Fusing (ALBEF) them through cross-modal attention, which enables more grounded vision and language representation learning. Unlike most existing methods, our method does not require bounding box annotations nor high-resolution images. In order to improve learning from noisy web data, we propose momentum distillation, a self-training method which learns from pseudo-targets produced by a momentum model. We provide a theoretical analysis of ALBEF from a mutual information maximization perspective, showing that different training tasks can be interpreted as different ways to generate views for an image-text pair. ALBEF achieves state-of-the-art performance on multiple downstream vision-language tasks. On image-text retrieval, ALBEF outperforms methods that are pre-trained on orders of magnitude larger datasets. On VQA and NLVR$^2$, ALBEF achieves absolute improvements of 2.37% and 3.84% compared to the state-of-the-art, while enjoying faster inference speed. Code and pre-trained models are available at https://github.com/salesforce/ALBEF/.

研究动机与目标

• 激发并开发一个无需检测器的视觉-语言预训练框架，在融合前对齐图像与文本表示。
• 提出一个中间的图像-文本对比损失（ITC），以稳固单模态编码器并促进跨模态学习。
• 引入动量蒸馏（MoD），通过使用动量平均的教师来生成伪目标，从而提高从嘈杂的网络数据中学习的效果。
• 证明 ALBEF 学习到鲁棒的视觉-语言表示，在检索、VQA、NLVR2、VE以及弱监督定位等任务上表现良好。
• 通过最大化互信息来提供理论框架，以证明设计选择的合理性。

提出的方法

• 使用无检测器的ViT为图像编码器，以及基于Transformer的文本编码器对文本进行编码。
• 通过一个6层的多模态Transformer在每层具有跨模态注意力来融合图像和文本。
• 对单模态表示应用图像-文本对比损失（ITC），在融合前对齐图像与文本。
• 在同一批次中使用困难负样本挖掘以增强多模态编码器上的图像-文本匹配（ITM）。
• 通过MLM和ITM损失进行训练，以学习多模态交互；优化联合损失 L = L_itc + L_mlm + L_itm。
• 采用动量蒸馏（MoD）：维护一个动量模型为ITC和MLM损失生成伪目标，并使用权重 α（0.4）将其与原始损失混合，从而改善学习和下游性能。

实验结果

研究问题

• RQ1 无检测器的视觉-语言预训练方法，在融合前使用中间ITC损失，是否能改善跨模态交互学习？
• RQ2 动量蒸馏是否能够在没有显式边界框的前提下，从嘈杂的网络规模视觉-语言数据中实现有效学习？
• RQ3 在互信息最大化视角下，ITC、MLM、ITM与MoD如何相互作用以改进视觉-语言表示？
• RQ4 与最先进方法相比，ALBEF变体在图像-文本检索、VQA、NLVR2、视觉蕴涵和弱监督定位等任务上的性能提升有哪些？

主要发现

• ALBEF 在图像-文本检索上达到最先进的性能，超过在更大规模数据上训练的方法。
• 在无检测器输入下，ALBEF 在 VQA、NLVR2 和 VE 任务上达到有竞争力甚至更优的结果，并且推理速度比基于检测器的方法更快。
• 动量蒸馏（MoD）提升预训练和下游任务，使其能够从更大且更嘈杂的网络数据中学习。
• 结合 ITC、MLM、ITM 和 MoD 的 ALBEF，在多项任务上相较基线如 MLM+ITM 和困难负样本 ITM 变体显示出显著提升。
• 从互信息角度解释，ALBEF 的各组件通过生成多样化视图来最大化图像-文本表示之间的互信息。