[论文解读] Contrastive Video-Language Learning with Fine-grained Frame Sampling

Zixu Wang, Yujie Zhong+3 more|arXiv (Cornell University)|Oct 10, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

FineCo 提出了一种细粒度对比学习方法，通过使用帧选择器采样语义相关的视频帧，然后在帧-文本对上应用对比损失，从而提升视频-语言表征。该方法在 YouCookII 上达到最先进性能，在 MSR-VTT 上也取得具有竞争力的结果，尤其在视频-文本对应关系较弱的长视频中表现更优。

ABSTRACT

Despite recent progress in video and language representation learning, the weak or sparse correspondence between the two modalities remains a bottleneck in the area. Most video-language models are trained via pair-level loss to predict whether a pair of video and text is aligned. However, even in paired video-text segments, only a subset of the frames are semantically relevant to the corresponding text, with the remainder representing noise; where the ratio of noisy frames is higher for longer videos. We propose FineCo (Fine-grained Contrastive Loss for Frame Sampling), an approach to better learn video and language representations with a fine-grained contrastive objective operating on video frames. It helps distil a video by selecting the frames that are semantically equivalent to the text, improving cross-modal correspondence. Building on the well established VideoCLIP model as a starting point, FineCo achieves state-of-the-art performance on YouCookII, a text-video retrieval benchmark with long videos. FineCo also achieves competitive results on text-video retrieval (MSR-VTT), and video question answering datasets (MSR-VTT QA and MSR-VTT MC) with shorter videos.

研究动机与目标

• 解决视频-语言表征学习中视频与文本之间对应关系微弱或稀疏的问题。
• 通过聚焦语义相关的帧而非将整个视频片段视为统一单元，提升跨模态对齐。
• 缓解长视频中无关帧带来的负面影响，这些帧会稀释标准成对对比学习中的学习信号。
• 开发一种帧级对比目标，以增强视频表征，且无需帧级标注。
• 证明细粒度帧采样能提升性能，尤其在 YouCookII 等长视频数据集上。

提出的方法

• 训练一个帧选择器，基于帧-文本相似度得分，识别并采样与文本语义相似度高的帧。
• 在选定的正样本帧与未选中的负样本帧之间应用细粒度对比损失，以促进相关视觉内容与文本的对齐。
• 将该方法集成到 VideoCLIP 框架中，使用其视频和文本编码器，并通过成对对比目标与帧级对比目标进行端到端训练。
• 正样本帧数量（k）作为在开发集上调优的超参数，采用固定-k策略，选择与文本相似度最高的 k 个帧。
• 该方法无需时间标注，因此适用于视频-文本对松散对齐的数据集。
• 帧采样在对比损失之前执行，从而实现最具信息量帧的提炼，以改善视频表征。

Figure 1: Illustration of the weak correspondence problem in video-language learning. Given a pair of video and its text ( e.g. caption, instruction, or transcription), only a subset of the frames (here indicated by coloured bounding boxes) is semantically aligned to the textual content. The remaini

实验结果

研究问题

• RQ1 当仅存在视频-文本对级标注时，帧级对比学习是否能提升视频-语言表征？
• RQ2 仅从视频中采样最语义相关的帧，是否比使用所有帧能带来更好的跨模态对齐？
• RQ3 帧级对比学习在不同长度的视频数据集上（尤其是对应关系稀疏的长视频）性能如何变化？
• RQ4 与词级采样相比，细粒度帧采样是否更有效地提升视频-语言检索性能？
• RQ5 所提出的方法是否能在基于对比学习的不同视频-语言框架之间实现泛化？

主要发现

• FineCo 在 YouCookII 文本-视频检索基准上达到最先进性能，尤其在长视频上表现优于先前方法。
• 在 YouCookII 上，FineCo 实现 R@1 为 32.1，R@5 为 62.6，R@10 为 75.5，显著优于基础 VideoCLIP 模型。
• 在 MSR-VTT MC（多项选择）任务中，当 k=25 时，FineCo 取得最佳性能，表明其在短视频上也有效。
• 消融实验表明，在 MSR-VTT QA 上使用 k=20 的固定-k 采样，以及在 MSR-VTT MC 上使用 k=25，可获得最优结果，证实了选择合适正样本帧数量的重要性。
• 帧级采样优于词级采样，因为移除词语会破坏句子语义，而帧更具冗余性，更适合过滤。
• 定性分析显示，FineCo 通过聚焦关键帧能正确检索视频，但在短或动态较弱的视频中，帧选择效果较差，导致失败。

Figure 2: FineCo architecture. Given a sequence of frames in a video clip $x$ , the video encoder $f$ transforms them into a sequence of video features. The corresponding sentence $y$ is fed into the text encoder $g$ to get the text representation. The frame selector $FS$ takes the text representati