[论文解读] CLIP2TV: An Empirical Study on Transformer-based Methods for Video-Text Retrieval

Zijian Gao, Jingyu Liu+4 more|arXiv (Cornell University)|Nov 10, 2021

Multimodal Machine Learning Applications参考文献 18被引用 28

一句话总结

CLIP2TV 提出了一种基于 Transformer 的视频-文本检索框架，通过改进视频和文本编码器以及优化相似度头，增强了跨模态对齐，使 MSR-VTT 上的 R1@52.9 得分达到新 SOTA，相比之前 SOTA 提升 4.1%。

ABSTRACT

Modern video-text retrieval frameworks basically consist of three parts: video encoder, text encoder and the similarity head. With the success on both visual and textual representation learning, transformer based encoders and fusion methods have also been adopted in the field of video-text retrieval. In this report, we present CLIP2TV, aiming at exploring where the critical elements lie in transformer based methods. To achieve this, We first revisit some recent works on multi-modal learning, then introduce some techniques into video-text retrieval, finally evaluate them through extensive experiments in different configurations. Notably, CLIP2TV achieves 52.9@R1 on MSR-VTT dataset, outperforming the previous SOTA result by 4.1%.

研究动机与目标

• 研究基于 Transformer 的视频-文本检索方法中的关键组件。
• 评估近期多模态学习技术在视频-文本检索中的有效性。
• 通过优化视频和文本编码器以及相似度头设计，提升检索性能。
• 在 MSR-VTT 基准上建立新的 SOTA 结果。

提出的方法

• 回顾近期多模态学习的进展，以指导视频-文本检索的设计决策。
• 为视频和文本模态均采用基于 Transformer 的编码器，以增强表征学习能力。
• 引入优化的融合与相似度头组件，以提升跨模态对齐效果。
• 通过在多种配置下的广泛消融实验，验证各组件的贡献。
• 在 MSR-VTT 数据集上端到端训练并评估模型，使用标准检索指标。

实验结果

研究问题

• RQ1 在基于 Transformer 的视频-文本检索中，哪些关键组件驱动了性能提升？
• RQ2 近期多模态学习技术在视频-文本检索中如何迁移应用？
• RQ3 通过优化相似度头和编码器架构，可实现哪些性能改进？
• RQ4 所提出方法在标准基准上与现有 SOTA 方法相比表现如何？

主要发现

• CLIP2TV 在 MSR-VTT 数据集上实现 R1@52.9，创下新的 SOTA 记录。
• 相比之前 SOTA 提升 4.1% 的性能，证明了所提方法的有效性。
• 消融实验确认了优化后的编码器和相似度头组件的重要性。
• 该框架在不同实验配置下均表现出一致的性能提升。