[论文解读] ERNIE-ViL 2.0: Multi-view Contrastive Learning for Image-Text Pre-training

Bin Shan, Weichong Yin+4 more|arXiv (Cornell University)|Sep 30, 2022

Multimodal Machine Learning Applications被引用 10

一句话总结

ERNIE-ViL 2.0 提出了一种用于图像-文本预训练的多视图对比学习框架，通过建模跨多种视图的模态内与模态间相关性，增强了跨模态表征。通过引入物体标签作为特殊文本视图，并利用双编码器架构，该方法仅使用公开可用数据，在中文跨模态检索任务上取得了最先进性能，在英文基准上也取得了具有竞争力的结果。

ABSTRACT

Recent Vision-Language Pre-trained (VLP) models based on dual encoder have attracted extensive attention from academia and industry due to their superior performance on various cross-modal tasks and high computational efficiency. They attempt to learn cross-modal representation using contrastive learning on image-text pairs, however, the built inter-modal correlations only rely on a single view for each modality. Actually, an image or a text contains various potential views, just as humans could capture a real-world scene via diverse descriptions or photos. In this paper, we propose ERNIE-ViL 2.0, a Multi-View Contrastive learning framework to build intra-modal and inter-modal correlations between diverse views simultaneously, aiming at learning a more robust cross-modal representation. Specifically, we construct multiple views within each modality to learn the intra-modal correlation for enhancing the single-modal representation. Besides the inherent visual/textual views, we construct sequences of object tags as a special textual view to narrow the cross-modal semantic gap on noisy image-text pairs. Pre-trained with 29M publicly available datasets, ERNIE-ViL 2.0 achieves competitive results on English cross-modal retrieval. Additionally, to generalize our method to Chinese cross-modal tasks, we train ERNIE-ViL 2.0 through scaling up the pre-training datasets to 1.5B Chinese image-text pairs, resulting in significant improvements compared to previous SOTA results on Chinese cross-modal retrieval. We release our pre-trained models in https://github.com/PaddlePaddle/ERNIE.

研究动机与目标

• 通过在图像-文本预训练中建模多种视图下的模态内与模态间相关性，提升跨模态表征的鲁棒性与泛化能力。
• 通过引入物体标签作为特殊文本视图，缓解噪声网络爬取图像-文本对中的语义鸿沟，实现更优的跨模态对齐。
• 仅使用公开可用数据集，在跨模态检索任务上实现优异性能，为英文与中文任务建立坚实基准。
• 将模型规模扩展至15亿中文图像-文本对，以在中文跨模态检索任务上实现最先进结果。

提出的方法

• 在每种模态内构建多种视图，包括图像-图像对与文本-文本对，以学习模态内相关性，提升单模态表征质量。
• 引入物体标签序列作为特殊文本视图，连接细粒度视觉概念与文本描述，缩小跨模态语义鸿沟。
• 采用双编码器架构，在多种视图对上应用对比学习——包括模态间（如（标签, 图像）、（文本, 图像））与模态内（图像-图像、文本-文本）——以联合优化跨模态对齐。
• 使用多视图对比学习目标，联合优化所有视图对的表征，增强模型鲁棒性与泛化能力。
• 在2900万张公开可用的英文图像-文本对上进行预训练，并将数据规模扩展至15亿中文对，以提升零样本与少样本泛化能力。
• 采用余弦相似度进行跨模态匹配，并在多种视图组合上应用对比损失，以鼓励视图不变的表征。

实验结果

研究问题

• RQ1 在图像-文本预训练中，通过建模多种视图下的模态内与模态间相关性，能否提升跨模态表征的鲁棒性与泛化能力？
• RQ2 将物体标签作为特殊文本视图，在减少噪声图像-文本对之间语义鸿沟方面是否有效？
• RQ3 仅使用公开可用数据集，多视图对比学习框架能否在跨模态检索任务上实现最先进性能？
• RQ4 将预训练数据规模扩展至15亿中文图像-文本对，是否能显著提升中文跨模态检索任务的性能？

主要发现

• 与单视图对比学习基线相比，ERNIE-ViL 2.0在图像-文本检索任务上的平均召回率（meanRecall）提升了2.3个百分点。
• 在文本到图像检索任务上，模型性能提升了3.2个百分点，表明其在更具挑战性的文本到图像任务中表现更优。
• 引入基于物体标签的模态间对比学习后，平均召回率提升了1.6个百分点，凸显其在弥合语义鸿沟方面的有效性。
• 在15亿图像-文本对上预训练后，ERNIE-ViL 2.0在中文跨模态检索任务上达到最先进结果，显著优于此前的最先进方法。
• 模型展现出强大的零样本泛化能力，能够成功检索出具有细粒度、抽象性及长尾特征的文本查询所对应的图像。
• 图像与文本检索结果表明，ERNIE-ViL 2.0能有效学习细粒度概念与实例，即使在噪声较大的网络爬取数据中亦表现良好。