[论文解读] Cap4Video: What Can Auxiliary Captions Do for Text-Video Retrieval?

Wenhao Wu, Haipeng Luo+3 more|arXiv (Cornell University)|Dec 31, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

Cap4Video 提出了一种新颖的框架，利用零样本生成的视频字幕（基于 CLIP 和 GPT-2）来增强文本-视频检索。通过输入数据增强、中间视频-字幕特征交互以及输出分数融合，该方法在四个基准测试上实现了最先进性能：MSR-VTT（51.4%）、VATEX（66.6%）、MSVD（51.8%）和 DiDeMo（52.0%），且无需后处理。

ABSTRACT

Most existing text-video retrieval methods focus on cross-modal matching between the visual content of videos and textual query sentences. However, in real-world scenarios, online videos are often accompanied by relevant text information such as titles, tags, and even subtitles, which can be utilized to match textual queries. This insight has motivated us to propose a novel approach to text-video retrieval, where we directly generate associated captions from videos using zero-shot video captioning with knowledge from web-scale pre-trained models (e.g., CLIP and GPT-2). Given the generated captions, a natural question arises: what benefits do they bring to text-video retrieval? To answer this, we introduce Cap4Video, a new framework that leverages captions in three ways: i) Input data: video-caption pairs can augment the training data. ii) Intermediate feature interaction: we perform cross-modal feature interaction between the video and caption to produce enhanced video representations. iii) Output score: the Query-Caption matching branch can complement the original Query-Video matching branch for text-video retrieval. We conduct comprehensive ablation studies to demonstrate the effectiveness of our approach. Without any post-processing, Cap4Video achieves state-of-the-art performance on four standard text-video retrieval benchmarks: MSR-VTT (51.4%), VATEX (66.6%), MSVD (51.8%), and DiDeMo (52.0%). The code is available at https://github.com/whwu95/Cap4Video .

研究动机与目标

• 探究从视频生成的辅助字幕是否能提升文本-视频检索性能。
• 探索使用预训练模型（CLIP 和 GPT-2）进行零样本视频字幕生成作为辅助监督来源的作用。
• 设计一个统一框架，有效整合生成的字幕以优化多个阶段的检索流程。
• 证明基于字幕的增强方法与全局匹配及细粒度匹配机制均兼容。
• 在无需后处理的情况下，实现在标准文本-视频检索基准上的最先进性能。

提出的方法

• 基于 CLIP 和 GPT-2 的零样本视频字幕生成器，无需任何微调即可从视频帧生成字幕。
• 通过将视频-字幕对视为除查询-视频对之外的额外正样本，增强训练数据。
• 在视频与字幕表征之间引入中间跨模态特征交互，以优化视频特征并减少冗余。
• 采用双流架构，分别计算查询-视频和查询-字幕的匹配分数，并融合两者以获得最终检索结果。
• 通过平均池化聚合字幕嵌入，形成用于与文本查询匹配的全局字幕表征。
• 融合查询-视频和查询-字幕匹配分支的输出分数，以提升整体检索的鲁棒性与准确性。

实验结果

研究问题

• RQ1 从视频生成的零样本字幕能否提升文本-视频检索性能？
• RQ2 在中间特征交互中使用生成的字幕，如何促进视频表征学习的改进？
• RQ3 将查询-字幕匹配作为互补分支引入，是否能超越仅依赖查询-视频匹配的检索性能？
• RQ4 字幕的整合对不同检索基准的性能影响如何？
• RQ5 所提出的框架能否同时提升文本-视频检索中的全局匹配与细粒度匹配机制？

主要发现

• Cap4Video 在 MSR-VTT 上实现了 51.4% 的 R@1，达到最先进性能，优于先前方法。
• 在 VATEX 上，Cap4Video 达到 66.6% 的 R@1，显著优于现有方法。
• 在 MSVD 上获得 51.8% 的 R@1，在 DiDeMo 上获得 52.0% 的 R@1，表明在多样化基准上均保持一致的性能提升。
• 仅查询-字幕匹配分支即达到 30.3% 的 R@1，超过先前的查询-视频方法（如 ClipBERT 为 22.0%，MMT 为 26.6%）。
• 融合查询-视频与查询-字幕匹配分数后性能提升 +0.8%，证实了两个分支的互补性。
• 消融实验表明，数据增强、特征交互与分数融合三个组件均对整体性能提升有贡献，总提升幅度达 +2.8% 至 +3.6%。