[论文解读] AutoAD: Movie Description in Context

Tengda Han, Max Bain+4 more|arXiv (Cornell University)|Mar 29, 2023

Subtitles and Audiovisual MediaArts and Humanities被引用 3

一句话总结

本文提出 AutoAD，一种新颖的自动电影音频描述生成框架，通过融合视觉和上下文线索（如先前的音频描述、字幕和时间上下文），利用预训练视觉-语言模型（CLIP）与大语言模型（GPT）之间的桥梁，实现上下文感知的生成。该方法通过在部分数据源上进行数据预训练、使用清洗并增强后的 MAD-v2 数据集，以及实现上下文感知生成，在电影音频描述基准测试中达到最先进性能，且在 LSMDC 上展现出强劲的零样本结果。

ABSTRACT

The objective of this paper is an automatic Audio Description (AD) model that ingests movies and outputs AD in text form. Generating high-quality movie AD is challenging due to the dependency of the descriptions on context, and the limited amount of training data available. In this work, we leverage the power of pretrained foundation models, such as GPT and CLIP, and only train a mapping network that bridges the two models for visually-conditioned text generation. In order to obtain high-quality AD, we make the following four contributions: (i) we incorporate context from the movie clip, AD from previous clips, as well as the subtitles; (ii) we address the lack of training data by pretraining on large-scale datasets, where visual or contextual information is unavailable, e.g. text-only AD without movies or visual captioning datasets without context; (iii) we improve on the currently available AD datasets, by removing label noise in the MAD dataset, and adding character naming information; and (iv) we obtain strong results on the movie AD task compared with previous methods.

研究动机与目标

• 解决为电影生成高质量、上下文连贯的音频描述的挑战，这需要理解视觉内容、角色身份以及时间叙事流程。
• 通过开发数据整理管道并利用部分标注或仅文本数据的预训练，克服大规模高质量电影 AD 训练数据稀缺的问题。
• 通过整合多源上下文（视觉帧、先前 AD 输出、字幕）提升模型性能，尤其在角色命名和动作描述方面。
• 通过针对性预训练使模型适应电影 AD 的风格和结构，从而实现在下游基准（如 LSMDC）上的零样本泛化能力。
• 通过去除标签噪声并添加角色命名信息，提升现有 MAD 数据集标注的质量与可靠性，从而获得更清洁、更可用的基准。

提出的方法

• 通过轻量级适配器网络将 CLIP（视觉编码器）与 GPT-2（语言解码器）集成，实现具有上下文感知能力的视觉条件文本生成。
• 整合多种上下文类型：先前 AD 句子（循环上下文）、字幕（对话上下文）和视觉帧，以提升叙事连贯性与实体追踪能力。
• 在开放域视觉-文本数据集（如 WebVid、CC3M）上对视觉编码器进行预训练，在仅文本 AD 数据（AudioVault-AD）上对语言模型进行预训练，以弥合领域差距并改善风格对齐。
• 采用基于说话人的分离管道，自动收集大规模仅文本的电影 AD 数据用于预训练，实现在无需完整视频访问情况下的可扩展数据收集。
• 应用循环上下文建模策略，将前一剪辑的 AD 输出作为输入处理，模拟在上下文可见性有限情况下的实时生成。
• 采用混合训练设置：在包含完整上下文的 MAD-v2 上进行微调，并在 oracle（真实上下文）与循环（预测上下文）两种设置下进行评估。

实验结果

研究问题

• RQ1 将视觉-语言基础模型与上下文感知适应相结合，能否提升自动电影音频描述的质量与连贯性？
• RQ2 在部分标注或仅文本数据上进行预训练，在低资源电影 AD 生成中能在多大程度上提升泛化能力？
• RQ3 整合多种上下文类型（先前 AD、字幕、视觉帧）对模型性能与叙事一致性有何影响？
• RQ4 尽管训练样本更少，基于清洗并增强后的 MAD 数据集（MAD-v2）训练的模型是否能超越先前方法？
• RQ5 所提出方法在未在 LSMDC 数据集特定训练数据上进行微调的情况下，能否在 LSMDC 基准上实现良好的零样本泛化表现？

主要发现

• 在 oracle 设置下，AutoAD 模型在 MAD-v2 数据集上达到 21.9 的 CIDEr 分数，显著优于先前方法（如 ClipCap 和 CapDec）。
• 在仅文本 AD 数据（AudioVault-AD）上进行预训练，使 CIDEr 从 12.6 提升至 14.1，证明了领域特定语言适应的重要性。
• 结合视觉仅预训练（WebVid）与文本仅预训练（AudioVault-AD）可达到 21.9 的 CIDEr 分数，较无预训练基线提升 2.9 分，表明预训练的显著增益。
• 使用 MAD-v2 而非 MAD-v1 在所有设置下均提升性能，尽管训练样本更少，仍实现 1.5–2.0 分的 CIDEr 提升，证实了标签噪声减少与数据质量提高。
• 在零样本设置下，该模型在 LSMDC 基准上达到 16.7 的 CIDEr 分数，优于此前最先进方法（15.4），且未在 LSMDC 数据集上进行任何微调。
• 将上下文长度从 1 增加到 6 个 AD 句子可提升性能，但超过 3 个句子后增益趋于平缓，这是由于 GPT-2 中注意力复杂度增加所致，表明上下文长度与效率之间存在权衡。