[论文解读] Universal Vision-Language Dense Retrieval: Learning A Unified Representation Space for Multi-Modal Retrieval

Zhenghao Liu, Chenyan Xiong+3 more|arXiv (Cornell University)|Sep 1, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出UniVL-DR，一种统一的视觉-语言密集检索模型，通过学习文本与图像检索的共享嵌入空间，实现端到端的多模态检索。通过采用模态平衡的难样本采样和图像文字化方法，有效弥合模态差异，UniVL-DR在WebQA数据集上取得当前最优性能，在文本-文本和文本-图像检索任务中均超越先前模型超过5%。

ABSTRACT

This paper presents Universal Vision-Language Dense Retrieval (UniVL-DR), which builds a unified model for multi-modal retrieval. UniVL-DR encodes queries and multi-modality resources in an embedding space for searching candidates from different modalities. To learn a unified embedding space for multi-modal retrieval, UniVL-DR proposes two techniques: 1) Universal embedding optimization strategy, which contrastively optimizes the embedding space using the modality-balanced hard negatives; 2) Image verbalization method, which bridges the modality gap between images and texts in the raw data space. UniVL-DR achieves the state-of-the-art on the multi-modal open-domain question answering benchmark, WebQA, and outperforms all retrieval models on the two subtasks, text-text retrieval and text-image retrieval. It demonstrates that universal multi-modal search is feasible to replace the divide-and-conquer pipeline with a united model and also benefits single/cross modality tasks. All source codes of this work are available at https://github.com/OpenMatch/UniVL-DR.

研究动机与目标

• 为解决多模态检索系统中模态不平衡与跨模态差异的挑战。
• 将单模态与跨模态检索统一为单一端到端模型，消除对独立流水线的依赖。
• 通过学习一个通用表示空间，有效分离并对齐文本与图像嵌入，从而提升检索性能。
• 通过从图像特征生成自然语言描述，增强跨模态匹配能力，从而减少模态差异。
• 证明使用平衡信号的多模态预训练可同时提升单模态与多模态检索任务的性能。

提出的方法

• 提出一种使用模态平衡难负样本的通用嵌入优化策略，以减少对比学习过程中对特定模态的偏好。
• 引入图像文字化方法，从图像像素生成自然语言描述，实现视觉与语言表示的对齐。
• 采用两阶段图像文字化方法：首先将图像标题与视觉特征对齐，然后将事实信息重述为自然语言。
• 使用查询文字化方法，从图像内容生成相关文本查询，提升跨模态匹配信号。
• 使用对比学习进行端到端训练，结合批次内负样本、难负样本以及模态平衡的难负样本。
• 在统一的嵌入空间中应用KNN搜索，为给定查询检索相关的文本与图像文档。

实验结果

研究问题

• RQ1 统一的表示空间能否有效支持单模态与跨模态检索任务？
• RQ2 模态平衡的难负样本采样策略在多模态检索中如何提升泛化能力并减少模态偏差？
• RQ3 图像文字化在多大程度上能弥合视觉与语言表示之间的语义鸿沟？
• RQ4 从多模态信号中学习是否能提升单模态检索任务的性能？
• RQ5 与分而治之的流水线相比，统一模型在检索有效性与融合能力方面表现如何？

主要发现

• UniVL-DR在WebQA基准上取得当前最优性能，文本-图像检索的MRR@10相比先前模型提升5.1%。
• 模态平衡的难负样本采样策略减少了模态偏差，使嵌入空间分布更加均匀且高效。
• 通过查询文字化实现的图像文字化比标题文字化更显著提升检索效果，多模态检索的MRR@10达到62.40。
• 该模型能有效将查询路由至嵌入空间中适当的模态特异性区域，展现出良好的模态消歧能力。
• UniVL-DR通过利用跨模态信号，提升了单模态检索性能，表明多模态预训练对单模态任务具有增益作用。
• 可视化结果表明，UniVL-DR将文本与图像文档分离为独立聚类，同时保持查询的相关性，证明其具备稳健的表示学习能力。