[论文解读] Describing Videos by Exploiting Temporal Structure

Li Yao, Atousa Torabi+5 more|arXiv (Cornell University)|Feb 27, 2015

Multimodal Machine Learning Applications参考文献 50被引用 189

一句话总结

本文提出了一种视频描述模型，通过3D卷积神经网络（3D CNN）捕捉局部时间动态，并通过时间注意力机制建模全局时间结构，显著提升了视频字幕生成性能。该方法在YouTube2Text数据集上取得最先进结果，并在更大、更具挑战性的DVS数据集上展现出强大的泛化能力。

ABSTRACT

Recent progress in using recurrent neural networks (RNNs) for image description has motivated the exploration of their application for video description. However, while images are static, working with videos requires modeling their dynamic temporal structure and then properly integrating that information into a natural language description. In this context, we propose an approach that successfully takes into account both the local and global temporal structure of videos to produce descriptions. First, our approach incorporates a spatial temporal 3-D convolutional neural network (3-D CNN) representation of the short temporal dynamics. The 3-D CNN representation is trained on video action recognition tasks, so as to produce a representation that is tuned to human motion and behavior. Second we propose a temporal attention mechanism that allows to go beyond local temporal modeling and learns to automatically select the most relevant temporal segments given the text-generating RNN. Our approach exceeds the current state-of-art for both BLEU and METEOR metrics on the Youtube2Text dataset. We also present results on a new, larger and more challenging dataset of paired video and natural language descriptions.

研究动机与目标

• 通过建模局部与全局时间结构，解决生成准确、自然语言视频描述的挑战。
• 改进现有依赖帧平均特征的视频字幕模型，这些模型会丢失时间顺序与事件发展顺序。
• 开发一种神经编码器-解码器框架，使模型在文本生成过程中能选择性关注关键视频片段。
• 验证结合局部动作特征（来自3D CNN）与视频帧全局注意力机制的有效性。
• 在标准YouTube2Text数据集与更大、更复杂的DVS数据集上评估模型，以验证其更广泛的泛化能力。

提出的方法

• 使用3D卷积神经网络（3D CNN）从短视频片段中提取时空特征，捕捉精细的时间运动与动作模式。
• 3D CNN在视频动作识别任务上进行预训练，以生成对人类动作与行为敏感的表征。
• 引入时间注意力机制，使解码RNN能够在每个词生成步骤动态关注相关视频帧。
• 注意力机制采用软对齐方式计算帧权重，实现对时间上分离事件的关注，而无需显式定义片段边界。
• 编码器-解码器架构整合3D CNN特征与注意力加权的帧表征，生成描述性语句。
• 采用交叉熵损失进行端到端训练，并在推理时使用束搜索解码。

实验结果

研究问题

• RQ1 通过3D CNN建模局部时间动态，是否能超越帧平均表征，提升视频字幕生成性能？
• RQ2 引入全局时间注意力机制是否能提升视频内容与生成描述之间的对齐程度？
• RQ3 局部与全局时间建模的结合如何影响开放域视频描述任务的性能？
• RQ4 该模型在规模与复杂度不同的数据集（如YouTube2Text与DVS）之间如何实现泛化？
• RQ5 注意力权重在多大程度上反映了人类对关键视频片段的感知？

主要发现

• 所提模型在YouTube2Text数据集上达到最先进性能，在BLEU、METEOR与CIDEr指标上均优于先前方法。
• 在更大、更具挑战性的DVS数据集上，模型表现良好，但与YouTube2Text相比仍存在较大差距，表明仍有改进空间。
• 3D CNN特征与时间注意力机制的结合带来最高性能，证明了局部与全局建模的互补优势。
• 定性分析表明，注意力权重与显著视觉事件高度对齐，例如聚焦于关键对象或动作出现的帧。
• 与仅使用外观特征的模型相比，3D CNN能更好地区分动作（如“frying”与“cooking”）。
• 模型对多样化视频内容具有良好的泛化能力，即使在复杂、多活动场景中也能生成连贯且上下文相关的描述。