[论文解读] End-to-End Dense Video Captioning with Masked Transformer

Luowei Zhou, Yingbo Zhou+3 more|arXiv (Cornell University)|Apr 3, 2018

Multimodal Machine Learning Applications参考文献 39被引用 42

一句话总结

呈现一个端到端 Transformer 模型用于密集视频描述，联合学习事件提案与描述，通过可微分掩码对齐提案与描述，利用自注意力替代 RNN。

ABSTRACT

Dense video captioning aims to generate text descriptions for all events in an untrimmed video. This involves both detecting and describing events. Therefore, all previous methods on dense video captioning tackle this problem by building two models, i.e. an event proposal and a captioning model, for these two sub-problems. The models are either trained separately or in alternation. This prevents direct influence of the language description to the event proposal, which is important for generating accurate descriptions. To address this problem, we propose an end-to-end transformer model for dense video captioning. The encoder encodes the video into appropriate representations. The proposal decoder decodes from the encoding with different anchors to form video event proposals. The captioning decoder employs a masking network to restrict its attention to the proposal event over the encoding feature. This masking network converts the event proposal to a differentiable mask, which ensures the consistency between the proposal and captioning during training. In addition, our model employs a self-attention mechanism, which enables the use of efficient non-recurrent structure during encoding and leads to performance improvements. We demonstrate the effectiveness of this end-to-end model on ActivityNet Captions and YouCookII datasets, where we achieved 10.12 and 6.58 METEOR score, respectively.

研究动机与目标

• 激励密集视频描述，让事件定位与描述生成紧密耦合。
• 开发一个端到端的 Transformer 模型，使语言信息能够影响事件提案。
• 引入一个可微分掩码，以将提案区域与描述的注意力对齐，确保训练的一致性。

提出的方法

• 使用带自注意力的视频编码器来生成帧表示。
• 实现一个带锚点的提案解码器以产生事件提案（开始、结束、置信度）。
• 实现一个带掩码的描述解码器，能够将提案转化为一个可微分掩码，引导对当前事件的注意力。
• 应用门控连续/离散掩码函数，将提案预测与描述过程融合。
• 使用多任务损失端到端训练，包括回归、掩码、提案和描述损失。

实验结果

研究问题

• RQ1 端到端 Transformer 框架是否能够让语言信息直接影响密集视频描述中的事件提案？
• RQ2 可微分掩码机制是否在训练期间提高了提案与生成描述之间的一致性？
• RQ3 相较于基于 RNN 的方法，自注意力编码器和解码器是否提升了对密集视频描述的长距离依赖建模？
• RQ4 与 LSTM 基线相比，该端到端模型在 ActivityNet Captions 和 YouCookII 上的表现如何？

主要发现

• 端到端带掩码的 Transformer 在 ActivityNet Captions 和 YouCookII 的描述和密集视频指标上优于基于 LSTM 的基线。
• 在 ActivityNet Captions 使用学习提案时，模型达到 BLEU-3 4.76, BLEU-4 2.23, METEOR 9.56。
• 与 Bi-LSTM 和 TempoAttn 基线相比，带掩码的端到端模型在验证集上具有更高的 METEOR 与 BLEU 分数。
• 使用真实提案时，增加 Transformer 深度在描述指标上带来增量收益，2 层作为良好平衡。
• 自注意力上下文编码相较于 Bi-LSTM 基线提升了事件提取召回率与总体密集描述性能。
• 可微分掩码方案（及其门控变体）有助于训练期间维持提出事件与生成描述之间的一致性。