[论文解读] HowToCaption: Prompting LLMs to Transform Video Annotations at Scale

Nina Shvetsova, Anna Kukleva+4 more|arXiv (Cornell University)|Oct 7, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本文提出 HowToCaption 方法，利用大语言模型（LLMs）从教学视频中噪声较多的自动语音识别（ASR）字幕生成高质量、时间对齐的视频字幕，实现无需人工监督的可扩展、类人视频标注。该方法显著提升了文本-视频检索性能，并通过将语言与音频解耦，实现了有效的文本-视频-音频检索，在多个基准测试中优于先前方法。

ABSTRACT

Instructional videos are a common source for learning text-video or even multimodal representations by leveraging subtitles extracted with automatic speech recognition systems (ASR) from the audio signal in the videos. However, in contrast to human-annotated captions, both speech and subtitles naturally differ from the visual content of the videos and thus provide only noisy supervision. As a result, large-scale annotation-free web video training data remains sub-optimal for training text-video models. In this work, we propose to leverage the capabilities of large language models (LLMs) to obtain high-quality video descriptions aligned with videos at scale. Specifically, we prompt an LLM to create plausible video captions based on ASR subtitles of instructional videos. To this end, we introduce a prompting method that is able to take into account a longer text of subtitles, allowing us to capture the contextual information beyond one single sentence. We further prompt the LLM to generate timestamps for each produced caption based on the timestamps of the subtitles and finally align the generated captions to the video temporally. In this way, we obtain human-style video captions at scale without human supervision. We apply our method to the subtitles of the HowTo100M dataset, creating a new large-scale dataset, HowToCaption. Our evaluation shows that the resulting captions not only significantly improve the performance over many different benchmark datasets for zero-shot text-video retrieval and video captioning, but also lead to a disentangling of textual narration from the audio, boosting the performance in text-video-audio tasks.

研究动机与目标

• 为解决网络视频数据集中弱监督问题，即 ASR 生成的字幕存在噪声且与视觉内容错位。
• 通过利用大语言模型（LLMs），在无需人工标注的情况下大规模生成高质量、类人风格的视频字幕。
• 通过生成更准确、更详细的字幕，使字幕与视觉内容更好地对齐，从而提升文本-视频检索性能。
• 在教学视频中实现文本描述与音频信号的解耦，无需正则化即可实现有效的文本-视频-音频检索。
• 构建一个新的大规模数据集 HowToCaption，用于多模态模型的训练与评估。

提出的方法

• 通过提示大语言模型（LLM），基于教学视频的长序列、噪声较多的 ASR 转录文本生成简洁、描述性强的视频字幕。
• 设计一种提示策略，捕捉单句以外的上下文信息，提升字幕的质量与相关性。
• 扩展 LLM 提示，以预测每个生成字幕的时间戳，实现细粒度的视频对齐。
• 在短时间窗内应用过滤与重对齐步骤，纠正时间戳错误，提升与视频内容的同步性。
• 将生成的字幕作为监督信号用于训练文本-视频模型，其关键创新在于实现了语言与音频的解耦。
• 在 HowToCaption 数据集上训练多模态模型，评估其在零样本文本-视频与文本-视频-音频检索任务中的性能。

实验结果

研究问题

• RQ1 LLMs 是否能有效将噪声多、长序列的 ASR 转录文本转化为与视觉内容对齐的高质量、描述性视频字幕？
• RQ2 与使用原始 ASR 转录文本相比，LLM 生成的字幕是否能提升文本-视频检索性能？
• RQ3 将文本描述与音频信号解耦，是否能提升文本-视频-音频检索任务的性能？
• RQ4 HowToCaption 方法能否在无人工监督的情况下生成可扩展、类人风格的视频标注？
• RQ5 在标准文本-视频检索基准测试中，基于 HowToCaption 训练的模型性能与最先进方法相比如何？

主要发现

• HowToCaption 方法在四个基准数据集（YouCook2、MSR-VTT、MSVD 和 LSMDC）上显著提升了文本-视频检索性能。
• 在 YouCook2 数据集上，该方法达到 R1 得分为 44.5，R5 为 73.3，R10 为 82.1，优于先前的 SOTA 方法。
• 在零样本文本-视频+音频检索中，基于 HowToCaption 的模型达到 R1 得分为 25.5，比次佳基线（EAO）高出 0.9 分。
• 由于实现了语言与音频的解耦，该方法无需额外正则化（如音频时间戳偏移或损失加权）即可实现有效的文本-视频-音频检索。
• HowToCaption 数据集提供了强监督信号，其泛化能力优于原始 ASR 转录文本，表现为在多个下游任务中持续获得性能提升。
• 过滤与重对齐步骤提升了时间对齐精度，减少了时间戳错误，增强了与视频内容的同步性。