[论文解读] LightningDOT: Pre-training Visual-Semantic Embeddings for Real-Time Image-Text Retrieval

Siqi Sun, Yen-Chun Chen+4 more|arXiv (Cornell University)|Mar 16, 2021

Multimodal Machine Learning Applications参考文献 50被引用 6

一句话总结

LightningDOT 提出了一种快速、准确的图文检索方法，通过使用三种新型预训练目标（VMLM、SMRM 和 CMR）对视觉和文本编码器进行预训练，用高效的点积匹配替代计算成本高昂的交叉注意力机制。该方法在 Flickr30k、COCO 和 Multi30K 基准测试中达到最先进性能，同时相比现有预训练模型，推理速度最高提升 23,000 倍。

ABSTRACT

Multimodal pre-training has propelled great advancement in vision-and-language research. These large-scale pre-trained models, although successful, fatefully suffer from slow inference speed due to enormous computation cost mainly from cross-modal attention in Transformer architecture. When applied to real-life applications, such latency and computation demand severely deter the practical use of pre-trained models. In this paper, we study Image-text retrieval (ITR), the most mature scenario of V+L application, which has been widely studied even prior to the emergence of recent pre-trained models. We propose a simple yet highly effective approach, LightningDOT that accelerates the inference time of ITR by thousands of times, without sacrificing accuracy. LightningDOT removes the time-consuming cross-modal attention by pre-training on three novel learning objectives, extracting feature indexes offline, and employing instant dot-product matching with further re-ranking, which significantly speeds up retrieval process. In fact, LightningDOT achieves new state of the art across multiple ITR benchmarks such as Flickr30k, COCO and Multi30K, outperforming existing pre-trained models that consume 1000x magnitude of computational hours. Code and pre-training checkpoints are available at https://github.com/intersun/LightningDOT.

研究动机与目标

• 为解决大规模视觉-语言预训练模型推理延迟过高的问题，该问题限制了其在实时场景中的部署。
• 探究在不使用交叉注意力机制的情况下，简单的点积匹配是否仍能实现具有竞争力的性能。
• 开发一种预训练框架，通过离线学习的视觉-语义嵌入实现快速、可缓存的检索。
• 通过新颖的预训练目标，在移除跨模态注意力后仍能保持或提升准确率。
• 在推理阶段计算成本极低的前提下，建立新的图文检索 SOTA 水准。

提出的方法

• 采用晚期融合方法对独立的视觉和文本编码器进行预训练，推理阶段避免使用交叉注意力。
• 提出视觉嵌入融合掩码语言建模（VMLM），将视觉特征注入文本表征学习中。
• 提出语义嵌入融合掩码区域建模（SMRM），将文本语义注入视觉表征学习中。
• 采用跨模态检索（CMR）作为联合预训练目标，对齐图像与文本嵌入。
• 离线缓存所有图像和文本嵌入，并使用即时点积匹配实现实时检索。
• 在点积匹配后应用轻量级重排序模块，以恢复因移除注意力机制而损失的性能。

实验结果

研究问题

• RQ1 视觉-语言模型是否能在推理阶段不使用交叉注意力的情况下，实现 SOTA 图文检索性能？
• RQ2 在不使用注意力机制的前提下，融合跨模态信息的预训练目标是否仍能实现强大的视觉-语义对齐？
• RQ3 VMLM、SMRM 和 CMR 预训练任务的组合如何影响检索的准确率与效率？
• RQ4 离线嵌入索引与点积匹配在多大程度上可以替代实时系统中的基于注意力的检索？
• RQ5 仅在英文描述上进行训练的模型，是否能通过翻译-测试方法有效泛化到多语言检索任务？

主要发现

• LightningDOT 在 Flickr30k、COCO 和 Multi30K 基准测试中达到新的 SOTA 性能，优于需要多出 1000 倍计算时长的模型。
• 在 COCO 数据集上，LightningDOT 实现 83.7% 的平均召回率（AR），在应用重排序后超过 UNITER 模型的 86.6%。
• 在 Flickr30k 和 COCO 上，推理速度提升 600–1900 倍；在更大的候选集（>120K 张图像）上，最高提升达 23,000 倍。
• 重排序机制有效恢复了因移除注意力而损失的性能，在 COCO 上实现 86.8% 的 AR，接近完整 UNITER 模型的性能。
• 在翻译-测试设置下，LightningDOT 在多语言基准测试中创下新 SOTA，涵盖德语、法语、捷克语、日语和中文，尽管模型仅在英文数据上进行训练。
• 消融实验证实，VMLM 和 SMRM 联合提升性能，CMR 单独使用可使 AR 提升 +1.4，三者联合使用时达到最佳结果。