[论文解读] Zero-Shot Dense Video Captioning by Jointly Optimizing Text and Moment

Yongrae Jo, Seongyun Lee+4 more|arXiv (Cornell University)|Jul 5, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

ZeroTA 提出了一种新颖的零样本密集视频字幕生成方法，通过使用冻结的 GPT-2 和 CLIP 模型，联合优化文本生成与时刻定位任务，引入可学习的软时刻掩码和成对时间 IoU 损失。该方法在 ActivityNet Captions 数据集上实现了最先进性能，甚至超越了少样本方法，且在无领域适应设置下表现出强大的鲁棒性，无需任何训练数据。

ABSTRACT

Dense video captioning, a task of localizing meaningful moments and generating relevant captions for videos, often requires a large, expensive corpus of annotated video segments paired with text. In an effort to minimize the annotation cost, we propose ZeroTA, a novel method for dense video captioning in a zero-shot manner. Our method does not require any videos or annotations for training; instead, it localizes and describes events within each input video at test time by optimizing solely on the input. This is accomplished by introducing a soft moment mask that represents a temporal segment in the video and jointly optimizing it with the prefix parameters of a language model. This joint optimization aligns a frozen language generation model (i.e., GPT-2) with a frozen vision-language contrastive model (i.e., CLIP) by maximizing the matching score between the generated text and a moment within the video. We also introduce a pairwise temporal IoU loss to let a set of soft moment masks capture multiple distinct events within the video. Our method effectively discovers diverse significant events within the video, with the resulting captions appropriately describing these events. The empirical results demonstrate that ZeroTA surpasses zero-shot baselines and even outperforms the state-of-the-art few-shot method on the widely-used benchmark ActivityNet Captions. Moreover, our method shows greater robustness compared to supervised methods when evaluated in out-of-domain scenarios. This research provides insight into the potential of aligning widely-used models, such as language generation models and vision-language models, to unlock a new capability: understanding temporal aspects of videos.

研究动机与目标

• 为解决密集视频字幕标注成本过高的问题，提出一种无需任何训练数据或标注的零样本学习方法。
• 仅通过单个输入视频，在推理阶段实现端到端的文本生成与时间片段定位联合优化。
• 通过引入可学习的软时刻掩码和成对时间 IoU 损失，提升字幕的多样性与准确性，以实现对视频中多个事件的发现。
• 在监督模型通常失效的分布外场景中，展示方法的鲁棒性。
• 探索对齐冻结语言模型与视觉-语言模型在视频时间理解中的潜力。

提出的方法

• 引入由可学习中心和宽度参数化的软时刻掩码，以可微方式关注视频中的时间片段。
• 使用前缀微调（prefix-tuning）方法，仅通过优化少量可学习前缀参数来适配冻结的 GPT-2 语言模型。
• 联合优化软时刻掩码与前缀参数，以最大化生成文本与视觉特征之间的 CLIP 对比匹配分数。
• 应用视觉损失（$L_{vision}$），通过 CLIP 将生成的标记与视觉表示对齐。
• 应用语言损失（$L_{language}$），以促使语言模型在基于学习到的前缀和视频特征条件下生成连贯的字幕。
• 引入成对时间 IoU 损失（$L_{ptIoU}$），以鼓励为视频中的多个事件生成互不重叠、彼此区分的时刻掩码。

实验结果

研究问题

• RQ1 是否可以在不依赖任何训练数据或标注的情况下，实现零样本密集视频字幕生成？
• RQ2 与两阶段方法相比，联合优化文本生成与时刻定位是否能提升字幕质量与多样性？
• RQ3 是否仅基于冻结模型（GPT-2 和 CLIP）的方法，能在基准数据集上超越微调的监督方法与少样本方法？
• RQ4 与微调的监督模型相比，该方法在分布外设置下的表现如何？
• RQ5 软时刻掩码与成对 IoU 损失是否能有效实现对视频中多个独立事件的发现？

主要发现

• ZeroTA 在 ActivityNet Captions 基准测试中超越所有零样本基线方法，达到 2.6 CIDEr、7.5 SPICE 和 2.7 MSpot 的性能。
• 即使仅在 1% 的数据上微调，其性能仍超越了在 10 亿帧视频-文本数据上预训练的最先进少样本 Vid2Seq 模型。
• 在 YouCook2 数据集上，ZeroTA 表现弱于 Vid2Seq，原因在于字幕风格不匹配：ZeroTA 生成的是常规字幕，而 YouCook2 使用的是任务导向的指令式字幕。
• ZeroTA 在分布外设置下表现出更优的鲁棒性，而完全监督模型的性能则显著下降。
• 即使在无任何训练数据的情况下，文本与时刻定位的联合优化也比两阶段方法更有效。
• 成对时间 IoU 损失成功促使模型发现多个独立事件，提升了字幕的多样性。