[论文解读] Behind the Scene: Revealing the Secrets of Pre-trained Vision-and-Language Models

Jize Cao, Zhe Gan+4 more|arXiv (Cornell University)|May 15, 2020

Multimodal Machine Learning Applications参考文献 47被引用 14

一句话总结

本文提出了VALUE框架，一种通过针对性任务分析预训练视觉-语言模型的探针框架，以揭示其如何编码多模态知识。研究发现，这些模型在推理过程中更依赖文本输入，表现出结构化的跨模态注意力机制，并编码了视觉关系与语言知识，为模型设计提供了重要洞见。

ABSTRACT

Recent Transformer-based large-scale pre-trained models have revolutionized vision-and-language (V+L) research. Models such as ViLBERT, LXMERT and UNITER have significantly lifted state of the art across a wide range of V+L benchmarks with joint image-text pre-training. However, little is known about the inner mechanisms that destine their impressive success. To reveal the secrets behind the scene of these powerful models, we present VALUE (Vision-And-Language Understanding Evaluation), a set of meticulously designed probing tasks (e.g., Visual Coreference Resolution, Visual Relation Detection, Linguistic Probing Tasks) generalizable to standard pre-trained V+L models, aiming to decipher the inner workings of multimodal pre-training (e.g., the implicit knowledge garnered in individual attention heads, the inherent cross-modal alignment learned through contextualized multimodal embeddings). Through extensive analysis of each archetypal model architecture via these probing tasks, our key observations are: (i) Pre-trained models exhibit a propensity for attending over text rather than images during inference. (ii) There exists a subset of attention heads that are tailored for capturing cross-modal interactions. (iii) Learned attention matrix in pre-trained models demonstrates patterns coherent with the latent alignment between image regions and textual words. (iv) Plotted attention patterns reveal visually-interpretable relations among image regions. (v) Pure linguistic knowledge is also effectively encoded in the attention heads. These are valuable insights serving to guide future work towards designing better model architecture and objectives for multimodal pre-training.

研究动机与目标

• 揭示驱动预训练视觉-语言模型成功的核心机制。
• 分析视觉与语言模态之间多模态表征的融合与对齐方式。
• 评估模型在多大程度上编码了视觉关系、语言知识以及跨模态交互。
• 比较单流与双流架构在模态注意力与知识编码方面的差异。
• 基于注意力模式分析，为未来模型设计提供可操作的洞见。

提出的方法

• 设计一组探针任务——视觉指代消解、视觉关系检测以及基于SentEval的语言探针，以评估注意力头与表征中的知识编码。
• 将探针框架应用于两类典型模型：单流模型UNITER与双流模型LXMERT，进行对比分析。
• 通过聚类分析图像与文本表征，测量网络各层中多模态融合的程度。
• 通过分析[CLS]标记的注意力轨迹，评估在最终预测中各模态的重要性。
• 通过探查图像区域与文本词语之间的注意力模式，评估跨模态交互。
• 通过微调SentEval任务并比较不同网络层的性能，衡量语言知识的编码程度。

实验结果

研究问题

• RQ1 单流与双流架构在各层的多模态融合程度上存在哪些差异？
• RQ2 在最终预测中，是图像还是文本模态占主导地位？这种主导性在不同模型中如何变化？
• RQ3 注意力头是否专门用于捕捉跨模态对齐？如果是，其分布特征如何？
• RQ4 模型在多大程度上编码了图像区域之间的视觉关系？这种编码对输入不匹配的鲁棒性如何？
• RQ5 与BERT相比，预训练的视觉-语言模型在编码语言知识方面表现如何？这种表现是否因架构而异？

主要发现

• 预训练模型在推理过程中表现出强烈倾向，即更关注文本输入而非视觉输入，最终预测更依赖语言信息。
• 两类模型中均存在一组专门用于跨模态交互的注意力头，且在单流模型（如UNITER）中表现出更自然的涌现特性。
• 预训练模型中的注意力矩阵展现出一致且可视觉解释的模式，能将图像区域与相关文本词语对齐。
• 即使在图像与标题不匹配的情况下，视觉关系检测性能仍保持较高水平，表明两类模型均对视觉关系具有稳健的编码能力。
• 语言知识在注意力头中得到有效编码，尽管单流模型（如UNITER）在SentEval基准上表现优于双流模型（如LXMERT），这可能归因于基于BERT的初始化方式。
• 双流架构对无关文本输入更为敏感：当图像与未配对的标题配对时，视觉表征显著退化，而单流模型则表现更稳定。