[论文解读] Bidirectional Long-Short Term Memory for Video Description

Yi Bin, Yang Yang+4 more|arXiv (Cornell University)|Jun 15, 2016

Multimodal Machine Learning Applications参考文献 31被引用 16

一句话总结

本文提出了一种基于双向长短期记忆网络（BiLSTM）的视频字幕生成框架，通过结合CNN特征与双向LSTM，联合建模视频帧中的前向与后向时间依赖关系。通过将视频编码与语言生成解耦，并利用增强的双向视频表征初始化语言模型，该方法在MSVD基准上实现了最先进性能，METEOR得分较先前方法高出3%以上。

ABSTRACT

Video captioning has been attracting broad research attention in multimedia community. However, most existing approaches either ignore temporal information among video frames or just employ local contextual temporal knowledge. In this work, we propose a novel video captioning framework, termed as \emph{Bidirectional Long-Short Term Memory} (BiLSTM), which deeply captures bidirectional global temporal structure in video. Specifically, we first devise a joint visual modelling approach to encode video data by combining a forward LSTM pass, a backward LSTM pass, together with visual features from Convolutional Neural Networks (CNNs). Then, we inject the derived video representation into the subsequent language model for initialization. The benefits are in two folds: 1) comprehensively preserving sequential and visual information; and 2) adaptively learning dense visual features and sparse semantic representations for videos and sentences, respectively. We verify the effectiveness of our proposed video captioning framework on a commonly-used benchmark, i.e., Microsoft Video Description (MSVD) corpus, and the experimental results demonstrate that the superiority of the proposed approach as compared to several state-of-the-art methods.

研究动机与目标

• 解决现有视频字幕生成方法在建模视频序列中双向全局时间依赖关系方面的局限性。
• 克服单向RNN与基于池化的视频表征所导致的序列上下文丢失问题。
• 通过分别建模视频与语言生成，实现对密集视觉特征与稀疏语义句子表征的自适应学习。
• 通过整合双向LSTM编码与CNN特征，并以所得视频表征初始化语言模型，提升视频字幕生成性能。

提出的方法

• 采用联合视觉建模方法，结合前向与后向LSTM传递，配合CNN嵌入特征，以捕捉视频中的双向全局时间结构。
• 将前向与后向LSTM的隐藏状态与原始CNN特征融合，形成统一且上下文丰富的视频表征。
• 利用推导出的视频表征初始化基于LSTM的语言模型，以确保生成句子的语义连贯性。
• 通过使用独立的LSTM网络分别进行视觉特征编码与文本生成，实现视频编码与语言生成的解耦。
• 应用强化学习对BiLSTM模型进行微调，通过策略梯度优化提升生成质量。
• 以METEOR为主要评估指标，利用基于WordNet的匹配器捕捉生成字幕中的语义相似性。

实验结果

研究问题

• RQ1 通过捕捉视频序列中的过去与未来上下文，双向LSTM建模是否能提升视频字幕生成性能？
• RQ2 与端到端RNN模型相比，将视频编码与语言生成分离是否能带来更优的表征学习与字幕质量？
• RQ3 将双向视频表征与语言模型初始化相结合，对生成字幕的语义丰富度与流畅性有何影响？
• RQ4 所提方法在多大程度上优于依赖局部时间建模或单向编码的最先进模型？

主要发现

• 所提出的BiLSTM强化模型在MSVD基准上实现了30.3%的METEOR得分，优于所有对比的最先进方法。
• 与单向模型相比，双向联合LSTM模型性能提升0.4%（29.9% vs. 29.5%），证明了双向时间建模的优势。
• 与仅使用单向编码的模型相比，BiLSTM强化模型性能提升超过3%，证实了双向编码与独立建模的有效性。
• 联合LSTM架构显著优于S2VT基线模型，即使仅使用通用CNN特征而非任务特定微调的特征。
• 该模型超越了使用C3D与注意力机制的强基线模型（29.6% METEOR），表明双向编码在局部时间建模之外提供了互补优势。
• 该方法对特征选择具有鲁棒性，在使用通用VGG特征时表现优于使用RGB+Flow特征的模型，表明其具备更强的泛化能力。