[论文解读] CLIP-It! Language-Guided Video Summarization

Medhini Narasimhan, Anna Rohrbach+1 more|arXiv (Cornell University)|Jul 1, 2021

Video Analysis and Summarization参考文献 45被引用 15

一句话总结

CLIP-It 提出了一种统一的、以语言为导向的多模态Transformer模型，适用于通用和查询聚焦的视频摘要任务。该模型利用基于CLIP的视觉和文本嵌入，结合自注意力机制，根据帧与自然语言查询或密集描述的相关性来评分。在迁移设置下，F1分数最高提升5%，并在TVSum、SumMe和QFVS数据集上超越了先前方法，达到最先进性能。

ABSTRACT

A generic video summary is an abridged version of a video that conveys the whole story and features the most important scenes. Yet the importance of scenes in a video is often subjective, and users should have the option of customizing the summary by using natural language to specify what is important to them. Further, existing models for fully automatic generic summarization have not exploited available language models, which can serve as an effective prior for saliency. This work introduces CLIP-It, a single framework for addressing both generic and query-focused video summarization, typically approached separately in the literature. We propose a language-guided multimodal transformer that learns to score frames in a video based on their importance relative to one another and their correlation with a user-defined query (for query-focused summarization) or an automatically generated dense video caption (for generic video summarization). Our model can be extended to the unsupervised setting by training without ground-truth supervision. We outperform baselines and prior work by a significant margin on both standard video summarization datasets (TVSum and SumMe) and a query-focused video summarization dataset (QFVS). Particularly, we achieve large improvements in the transfer setting, attesting to our method's strong generalization capabilities.

研究动机与目标

• 将通用和查询聚焦的视频摘要统一到一个框架中，克服文献中分离方法的局限性。
• 通过开放式的自然语言查询而非受限制的关键词集，实现用户定制化的视频摘要。
• 通过整合来自CLIP的语言先验和现成的视频字幕模型到帧评分中，提升摘要质量。
• 通过使用重建损失和多样性损失进行无监督预训练，实现强大的泛化能力和零样本迁移性能。
• 证明语言条件化可增强显著性检测，尤其在复杂或模糊的视频内容中，超越仅依赖视觉线索的表现。

提出的方法

• 模型使用带有位置编码的多模态Transformer，联合编码视频帧和语言输入，实现在保留时间顺序的同时对所有帧进行完整注意力计算。
• 一个语言引导的注意力头将视觉和文本嵌入融合为联合表示，用于帧评分。
• 通过融合表示预测帧级重要性分数，再通过平均转换为镜头级分数，随后使用背包问题优化算法以适应目标摘要长度。
• 在无监督训练中，模型利用重建损失（重建输入帧）和多样性损失（促进非冗余关键帧）进行训练，无需真实标注。
• 系统使用CLIP的视觉和文本编码器获取强预训练的视觉和文本特征，并使用现成的密集视频字幕模型（如BMT）生成描述，用于通用摘要。
• 该框架支持两种设置：通用摘要使用自动生成的字幕作为输入，而查询聚焦摘要使用用户定义的自然语言查询。

实验结果

研究问题

• RQ1 一个统一的框架能否有效处理通用和查询聚焦的视频摘要任务？
• RQ2 与仅依赖视觉的模型相比，整合来自CLIP和密集字幕模型的语言先验在帧显著性检测方面有何提升？
• RQ3 该模型在不同领域和数据集上的泛化能力如何，特别是在零样本或迁移学习设置下？
• RQ4 开放式的、描述性的自然语言查询（如“所有水体，如湖泊、河流和瀑布”）能否有效用于生成准确的查询聚焦摘要？
• RQ5 使用重建损失和多样性损失进行无监督预训练，是否能在无需人工标注重要性分数的情况下获得具有竞争力的性能？

主要发现

• 在监督设置下，CLIP-It在TVSum和SumMe数据集上的F1分数均提升了3个百分点；在无监督设置下，F1分数提升了4个百分点。
• 在迁移设置下，CLIP-It的F1分数提升了5%，表明其在训练与评估数据不重叠的情况下具有强大的泛化能力。
• 在用于查询聚焦摘要的QFVS数据集上，CLIP-It的平均F1分数达到54.55%，比最佳基线（44.19%）高出超过10个百分点。
• 定性结果表明，模型能正确识别与“切蔬菜”和“烤面包”等动作相关的关键帧，同时避免包含人们进食或交谈等无关帧。
• 消融实验表明，语言引导显著减少了误报——即在视觉模型中得分高但与真实摘要相关性低的帧。
• 即使使用较弱的视觉特征（如ResNet而非CLIP），CLIP-It仍优于先前的最先进方法，表明其对特征选择具有鲁棒性。