[论文解读] Move Forward and Tell: A Progressive Generator of Video Descriptions

Yilei Xiong, Bo Dai+1 more|arXiv (Cornell University)|Jul 26, 2018

Multimodal Machine Learning Applications参考文献 27被引用 7

一句话总结

本文提出了一种名为 Move Forward and Tell（MFT）的渐进式视频字幕生成框架，通过联合选择时序定位的视频事件并以递归、上下文感知的方式生成句子，从而生成连贯、简洁且相关的段落描述。该方法采用强化学习驱动的LSTM网络，结合双层（句子和段落）奖励机制，在ActivityNet Captions数据集上取得了最先进性能，CIDEr得分为14.15，且在人类评估中也表现出更优的连贯性和简洁性。

ABSTRACT

We present an efficient framework that can generate a coherent paragraph to describe a given video. Previous works on video captioning usually focus on video clips. They typically treat an entire video as a whole and generate the caption conditioned on a single embedding. On the contrary, we consider videos with rich temporal structures and aim to generate paragraph descriptions that can preserve the story flow while being coherent and concise. Towards this goal, we propose a new approach, which produces a descriptive paragraph by assembling temporally localized descriptions. Given a video, it selects a sequence of distinctive clips and generates sentences thereon in a coherent manner. Particularly, the selection of clips and the production of sentences are done jointly and progressively driven by a recurrent network -- what to describe next depends on what have been said before. Here, the recurrent network is learned via self-critical sequence training with both sentence-level and paragraph-level rewards. On the ActivityNet Captions dataset, our method demonstrated the capability of generating high-quality paragraph descriptions for videos. Compared to those by other methods, the descriptions produced by our method are often more relevant, more coherent, and more concise.

研究动机与目标

• 为解决现有视频字幕方法因未能将视频时序结构与叙事流对齐，而产生冗余或不连贯描述的局限性。
• 生成既语义丰富又语言连贯的段落级视频描述，避免重复并保持叙事推进。
• 通过基于先前内容和时序上下文的条件建模，捕捉段落中连续句子之间的依赖关系。
• 通过使用多级奖励（句子和段落）的自critical sequence training（SCST）提升训练效率与性能。
• 证明渐进式、基于事件的生成策略相较于端到端或多句基线方法，能生成更高质量的描述。

提出的方法

• 该框架首先通过动作检测识别候选视频事件，生成一组时序定位、语义有意义的片段池。
• 一个递归LSTM网络基于视觉特征、时间范围和先前生成字幕的特征，逐步选择下一个要描述的事件。
• 事件选择与句子生成通过强化学习目标联合优化，采用双层奖励机制：句子级的BLEU与ROUGE，以及段落级的CIDEr与self-BLEU。
• 字幕生成网络利用注意力机制关注所选事件的视觉特征，同时基于LSTM的隐藏状态（编码先前上下文）进行条件生成。
• 模型采用自critical sequence training（SCST）进行训练，策略梯度更新由贪婪生成与采样生成字幕序列之间的差异引导。
• 特征融合将视觉特征、时间范围信息与字幕嵌入相结合，以提升事件选择的准确性和连贯性。

实验结果

研究问题

• RQ1 相较于端到端视频字幕方法，一种渐进式、递归的框架是否能通过按序选择事件并生成句子，产生更连贯、更简洁的段落描述？
• RQ2 将下一句的生成同时基于时序结构和先前内容，如何提升视频描述的叙事连贯性？
• RQ3 与单级监督相比，多级奖励（句子与段落）在多大程度上提升了生成描述的质量？
• RQ4 不同特征组合（视觉、时间范围、字幕）如何影响事件选择与整体字幕质量的表现？
• RQ5 所提出的方法是否在自动评估与人类评估中均优于现有的密集字幕与层次化字幕基线方法？

主要发现

• 所提出的MFT模型在ActivityNet Captions数据集上取得了14.15的CIDEr得分，显著优于仅使用监督训练的方法（12.81）及其他基线模型。
• 事件选择中采用完整特征组合（视觉 + 范围 + 字幕）表现最佳，CIDEr得分为14.15，优于仅视觉特征（10.19）及部分组合。
• 采用强化学习与双层奖励机制后，所有指标均得到提升：CIDEr从12.81（监督训练）提升至14.15，self-BLEU从56.57降至45.80，表明冗余性显著降低。
• 人类评估显示，MFT生成的段落最相关、最连贯且最简洁，60%的用户在三项标准中均选择MFT为最佳选项。
• 定性分析表明，与Dense-Caption-NMS、Hierarchical-RNN和Semantic-Sum等基线模型相比，MFT生成的段落更简洁、更连贯，重复更少，叙事流更自然。
• 事件选择的S3训练方案（子采样负样本）优于S1与S2，凸显了在训练中平衡正负样本采样的重要性。