[论文解读] CLIP2TV: Align, Match and Distill for Video-Text Retrieval

Zijian Gao, Jingyu Liu+4 more|arXiv (Cornell University)|Nov 10, 2021

Multimodal Machine Learning Applications被引用 15

一句话总结

CLIP2TV 提出了一种基于 CLIP 的视频-文本检索框架，通过端到端方式联合优化视频-文本对齐与匹配模块，并利用相似度蒸馏技术减轻数据噪声（尤其是模糊描述）的影响，从而在 MSR-VTT、DiDeMo 和 ActivityNet 数据集上取得最先进或具有竞争力的性能表现。

ABSTRACT

Modern video-text retrieval frameworks basically consist of three parts: video encoder, text encoder and the similarity head. With the success on both visual and textual representation learning, transformer based encoders and fusion methods have also been adopted in the field of video-text retrieval. In this report, we present CLIP2TV, aiming at exploring where the critical elements lie in transformer based methods. To achieve this, We first revisit some recent works on multi-modal learning, then introduce some techniques into video-text retrieval, finally evaluate them through extensive experiments in different configurations. Notably, CLIP2TV achieves 52.9@R1 on MSR-VTT dataset, outperforming the previous SOTA result by 4.1%.

研究动机与目标

• 通过以协调的端到端方式联合训练视频-文本对齐与匹配模块，提升视频-文本检索性能。
• 解决视频-文本数据集中存在的数据噪声问题（尤其是模糊描述、拼写错误和错误描述），这些噪声会损害对比学习的训练效果。
• 设计一种相似度蒸馏机制，利用模态内（text-text 和 video-video）与模态间相似度生成的软标签，提升视频-文本匹配模块对噪声的鲁棒性。
• 在标准视频-文本检索基准上实现最先进或具有竞争力的性能表现，同时保持高效的推理速度。

提出的方法

• CLIP2TV 包含两个核心组件：视频-文本对齐（vta）模块，将视频和文本嵌入映射到共享空间；以及视频-文本匹配（vtm）模块，学习区分正样本对与负样本对。
• vta 与 vtm 模块采用端到端训练方式，vtm 模块的梯度反向传播可优化 vta 模块学习到的对齐结果，实现相互性能提升。
• 引入相似度蒸馏以减轻数据噪声的影响：通过模态内（文本-文本与视频-视频）及联合模态相似度生成软标签，用于监督 vtm 模块的训练。
• 评估了三种相似度蒸馏变体：模态间、模态内与联合模态相似度，其中联合模态变体展现出最强的性能增益。
• 最终模型采用原始 vtm 与软标签 vtm 输出的加权组合，超参数 β 在不同数据集上进行调优，以实现性能平衡。
• 该框架推理效率高，依赖共享嵌入空间中的最近邻搜索，因此与现有基于 CLIP 的模型正交且易于集成。

实验结果

研究问题

• RQ1 能否通过端到端联合训练视频-文本对齐与匹配模块，共同提升检索性能？
• RQ2 数据噪声（尤其是模糊描述）如何影响视频-文本匹配头的训练稳定性和性能表现？
• RQ3 利用模态内与模态间相似度的相似度蒸馏能否提升匹配模块对噪声数据的鲁棒性？
• RQ4 结合来自多个相似度空间的软标签是否能提升模型在 MSR-VTT 与 DiDeMo 等噪声基准上的泛化能力？

主要发现

• 在 MSR-VTT 1kA 上，CLIP2TV 实现 R@1 为 45.6，R@5 为 71.1，R@10 为 80.8，优于 CLIP4Clip 基线模型。
• 引入相似度蒸馏后（CLIP2TV+SD），模型在 MSR-VTT 1kA 上的 R@1 提升至 46.1，表明其对模糊或含拼写错误查询具有更强的鲁棒性。
• 在 DiDeMo 数据集上，CLIP2TV+SD 实现 R@1 为 45.5，R@5 为 69.7，显著优于原始 vtm 模型与 CLIP4Clip。
• 在 ActivityNet 数据集上，CLIP2TV+SD 实现 R@50 为 98.4，表明其在长尾与复杂查询上表现优异。
• 联合相似度蒸馏变体表现最佳，在 MSR-VTT 1kA 上 R@10 达到 82.9，优于模态内与模态间变体。
• 可视化结果表明，CLIP2TV+SD 对噪声查询更具鲁棒性，能更准确地检索出模糊或含拼写错误描述的视频。