[论文解读] End-to-end Dense Video Captioning as Sequence Generation

Wanrong Zhu, Bo Pang+3 more|arXiv (Cornell University)|Apr 18, 2022

Multimodal Machine Learning Applications被引用 16

一句话总结

本文提出了一种端到端的密集视频字幕生成框架，通过多模态Transformer将事件定位与字幕生成统一为单一的序列到序列任务。通过将分割和字幕生成均形式化为序列生成，该模型利用大规模预训练文本模型（例如T5）并在YouCook2和ViTT数据集上实现了具有竞争力的性能，表明联合建模可提升分割准确率，并有效利用通用及领域特定的预训练。

ABSTRACT

Dense video captioning aims to identify the events of interest in an input video, and generate descriptive captions for each event. Previous approaches usually follow a two-stage generative process, which first proposes a segment for each event, then renders a caption for each identified segment. Recent advances in large-scale sequence generation pretraining have seen great success in unifying task formulation for a great variety of tasks, but so far, more complex tasks such as dense video captioning are not able to fully utilize this powerful paradigm. In this work, we show how to model the two subtasks of dense video captioning jointly as one sequence generation task, and simultaneously predict the events and the corresponding descriptions. Experiments on YouCook2 and ViTT show encouraging results and indicate the feasibility of training complex tasks such as end-to-end dense video captioning integrated into large-scale pretrained models.

研究动机与目标

• 解决两阶段密集视频字幕生成流水线中事件定位与字幕生成使用独立模型的局限性。
• 探究复杂多模态任务（如密集视频字幕生成）是否可统一在单一序列生成范式下。
• 通过将任务重新表述为序列生成，使大规模预训练文本模型（例如T5）可用于端到端的密集视频字幕生成。
• 评估通用预训练（T5）与领域特定预训练（WikiHow）对密集视频字幕生成性能的影响。
• 探究联合建模分割与字幕生成是否相比独立任务训练能提升性能。

提出的方法

• 该模型将密集视频字幕生成视为单一的序列到序列生成任务，其中目标序列通过结构化标记格式同时编码事件边界和对应字幕。
• 作者设计了多种任务形式（如SimpleConcat和EmbTime），将时间边界和字幕嵌入单个文本序列中，以支持端到端训练。
• 采用多模态Transformer编码器-解码器架构，输入包括视频帧的视觉特征和目标序列的文本嵌入。
• 在YouCook2和ViTT上通过在通用（T5）和领域特定（WikiHow）文本语料上进行预训练后进行微调。
• 该方法通过单一解码器实现分割与字幕生成的联合优化，避免了对独立架构或流水线的需求。
• 该方法支持多任务预训练，并复用现有大规模序列生成模型的基础设施。

实验结果

研究问题

• RQ1 密集视频字幕生成是否可有效建模为单一序列生成任务，从而实现与预训练语言模型的端到端训练？
• RQ2 与两阶段流水线相比，联合建模事件定位与字幕生成是否能提升性能？
• RQ3 在通用（T5）与领域特定（WikiHow）文本语料上进行预训练对密集视频字幕生成有何影响？
• RQ4 任务无关与任务特定预训练的优势是否可以结合？即使已有领域特定数据，通用预训练是否仍能带来收益？
• RQ5 序列形式设计（如SimpleConcat与EmbTime）的选择如何影响模型性能与训练稳定性？

主要发现

• 所提出的端到端序列生成方法在YouCook2和ViTT上实现了具有竞争力的性能，分割准确率优于先前的两阶段方法。
• 在T5和WikiHow上进行预训练带来了显著提升，两者的组合（T5 + WikiHow）带来了最大的性能增益。
• 即使已有WikiHow的领域特定预训练，进一步在T5上进行预训练仍能带来可测量的额外增益，表明二者具有互补性。
• 与仅关注定位的模型相比，联合建模分割与字幕生成可提升分割的mIoU。
• 当分割预测的IoU达到较高水平（≥90%）时，YouCook2上的平均ROUGE-L得分达到30.18，ViTT上达到44.33，表明在定位准确时字幕质量较高。
• 在某些设置下，EmbTime形式相比SimpleConcat表现出非平凡的性能提升，但结果不一致，且在从零开始训练的设置中方差较大。