[论文解读] KD-VLP: Improving End-to-End Vision-and-Language Pretraining with Object Knowledge Distillation

Yongfei Liu, Chenfei Wu+4 more|arXiv (Cornell University)|Sep 22, 2021

Multimodal Machine Learning Applications被引用 4

一句话总结

KD-VLP 提出了一种端到端的视觉-语言预训练框架，通过两种新颖的掩码任务——基于物体的掩码视觉建模和短语-区域对齐——从外部检测器蒸馏物体级别的知识，从而增强多模态表征学习。该方法在无需微调阶段使用物体检测器的情况下，在多个视觉-语言基准上实现了最先进或具有竞争力的性能。

ABSTRACT

Self-supervised vision-and-language pretraining (VLP) aims to learn transferable multi-modal representations from large-scale image-text data and to achieve strong performances on a broad scope of vision-language tasks after finetuning. Previous mainstream VLP approaches typically adopt a two-step strategy relying on external object detectors to encode images in a multi-modal Transformer framework, which suffer from restrictive object concept space, limited image context and inefficient computation. In this paper, we propose an object-aware end-to-end VLP framework, which directly feeds image grid features from CNNs into the Transformer and learns the multi-modal representations jointly. More importantly, we propose to perform object knowledge distillation to facilitate learning cross-modal alignment at different semantic levels. To achieve that, we design two novel pretext tasks by taking object features and their semantic labels from external detectors as supervision: 1.) Object-guided masked vision modeling task focuses on enforcing object-aware representation learning in the multi-modal Transformer; 2.) Phrase-region alignment task aims to improve cross-modal alignment by utilizing the similarities between noun phrases and object labels in the linguistic space. Extensive experiments on a wide range of vision-language tasks demonstrate the efficacy of our proposed framework, and we achieve competitive or superior performances over the existing pretraining strategies.

研究动机与目标

• 为克服依赖外部物体检测器且受限于物体概念空间狭窄与计算效率低下的两阶段 VLP 方法的局限性。
• 实现一种直接使用 CNN 网格特征的端到端视觉-语言预训练，同时仍能捕捉物体级别的语义信息。
• 通过将物体检测器中的语义与特征级知识蒸馏到多模态 Transformer 中，提升跨模态对齐能力。
• 设计能够促进端到端学习物体感知表征与短语-区域对应关系的掩码任务。

提出的方法

• 提出一种端到端的 VLP 框架，接收来自 CNN 主干网络的图像网格特征，并通过多模态 Transformer 进行处理，从而在推理阶段摆脱对外部检测器的依赖。
• 提出基于物体引导的掩码视觉建模（OMVM），利用周围视觉与语言上下文重建物体区域特征与语义标签。
• 设计一种知识引导的掩码策略，根据名词短语与物体标签之间的相似性，选择用于重建的物体候选。
• 引入短语-区域对齐（PRA），通过语言空间中的相似性分数，将语言短语嵌入与物体区域嵌入对齐。
• 采用多任务学习目标，结合标准的 ITM 与 MLM 任务，以及 OMVM 和 PRA，联合优化多模态表征学习。
• 在预训练阶段使用现成的物体检测器（如 BUTD、Faster R-CNN）提取物体特征与标签，并将这些知识蒸馏到端到端模型中。

实验结果

研究问题

• RQ1 端到端 VLP 模型是否能在推理阶段不依赖外部检测器的前提下，通过引入外部检测器的物体级别知识，实现更优性能？
• RQ2 与标准的掩码特征重建相比，基于物体引导的掩码视觉建模在表征学习方面有何改进？
• RQ3 短语-区域对齐在多大程度上增强了语言实体与视觉物体之间的跨模态对齐？
• RQ4 从更丰富的物体概念空间（如 1600 个类别）中蒸馏知识，是否能带来比小规模概念空间（如 80 个类别）更好的下游性能？

主要发现

• KD-VLP 在 NLVR2 上达到 66.71% 的准确率，在 VQA-test dev 上达到 68.19%，分别优于 SOHO 1.87% 和 1.50%。
• 短语-区域对齐任务在 MSCOCO-TR 上将 R@1 提升 0.78%，在 MSCOCO-IR 上提升 1.87%，证明其在跨模态对齐方面的有效性。
• 使用 BUTD（1600 个类别）作为物体检测器时，在 COCO 数据集上的性能优于 Faster R-CNN（80 个类别），表明更大的物体概念空间有助于预训练。
• 消融实验证实，所有提出的掩码任务（MRC、MRFR 和 PRA）均对性能有正向贡献，完整模型在 NLVR2 上比基线模型高出 4.58%。
• 可视化结果表明，知识引导的掩码策略聚焦于与短语相关的图像区域，而注意力图能更准确地将诸如 'smiling' 这类词语定位到对应面部区域。
• 物体知识蒸馏带来的性能增益在不同模型尺寸下均保持一致，且大模型展现出更强的利用外部物体语义的能力。