[论文解读] Hierarchical Recurrent Neural Encoder for Video Representation with Application to Captioning

Pingbo Pan, Zhongwen Xu+3 more|arXiv (Cornell University)|Nov 11, 2015

Multimodal Machine Learning Applications参考文献 7被引用 42

一句话总结

本文提出分层循环神经编码器（HRNE），一种深度学习框架，通过在多个帧块层级上堆叠LSTM，建模视频中的长程时序依赖关系，实现高效且有效的视频表征学习。HRNE在视频字幕生成基准测试中超越了当前最先进方法，即使仅使用RGB输入也取得了最先进结果，优于使用RGB与3D ConvNet流融合的模型。

ABSTRACT

Recently, deep learning approach, especially deep Convolutional Neural Networks (ConvNets), have achieved overwhelming accuracy with fast processing speed for image classification. Incorporating temporal structure with deep ConvNets for video representation becomes a fundamental problem for video content analysis. In this paper, we propose a new approach, namely Hierarchical Recurrent Neural Encoder (HRNE), to exploit temporal information of videos. Compared to recent video representation inference approaches, this paper makes the following three contributions. First, our HRNE is able to efficiently exploit video temporal structure in a longer range by reducing the length of input information flow, and compositing multiple consecutive inputs at a higher level. Second, computation operations are significantly lessened while attaining more non-linearity. Third, HRNE is able to uncover temporal transitions between frame chunks with different granularities, i.e., it can model the temporal transitions between frames as well as the transitions between segments. We apply the new method to video captioning where temporal information plays a crucial role. Experiments demonstrate that our method outperforms the state-of-the-art on video captioning benchmarks. Notably, even using a single network with only RGB stream as input, HRNE beats all the recent systems which combine multiple inputs, such as RGB ConvNet plus 3D ConvNet.

研究动机与目标

• 为解决在标准RNN难以处理长序列时建模视频表征中长程时序依赖关系的挑战。
• 在提升非线性表达能力的同时降低计算成本，避免堆叠LSTM带来的低效问题。
• 在视频片段内部与跨片段的多个粒度层级上建模时序结构，捕捉帧级与块级动态。
• 开发一种通用的视频表征框架，使其不仅适用于字幕生成，还可泛化至其他视频分析任务。

提出的方法

• HRNE采用分层架构，将短视频片段（帧块）由底层LSTM编码，其输出隐藏状态再输入到高层LSTM中，以建模长程依赖关系。
• 该框架将帧级表征组合为片段级向量，显著缩短输入高层LSTM的序列长度，从而提升效率并增强长程建模能力。
• 通过分层堆叠提升非线性表达能力，相比单纯堆叠深度，可在不显著增加计算成本的前提下提供更强的特征学习能力。
• 模型采用端到端的编码器-解码器框架进行训练，解码器中引入注意力机制，以在生成字幕时关注相关视频片段。
• 视频表征仅从RGB帧中提取，无需光流或3D ConvNets，使方法计算效率更高。
• 分层设计使模型能够以不同粒度建模时序转换——例如单个动作内部的运动以及不同动作之间的转换。

实验结果

研究问题

• RQ1 与标准RNN相比，分层循环架构是否能有效建模视频中的长程时序依赖关系，同时降低计算成本？
• RQ2 分层堆叠LSTM如何在不增加模型深度或推理成本的前提下，提升非线性表达能力与表征容量？
• RQ3 HRNE是否能同时在视频片段内部与片段之间建模多粒度时序结构，从而提升视频理解任务性能？
• RQ4 HRNE是否仅使用RGB输入即可在视频字幕生成任务中实现最先进性能，超越使用RGB+3D ConvNet或光流等多流输入的模型？

主要发现

• 在MSVD数据集上，HRNE取得33.1的METEOR分数，超越所有先前方法，包括使用RGB+3D ConvNet融合输入的方法。
• 在更具挑战性的M-VAD数据集上，HRNE取得5.8%的METEOR分数，超过S2VT与SA模型；加入注意力机制后进一步提升至6.8%。
• 即使仅使用RGB输入，不依赖光流或3D ConvNets，HRNE仍超越使用多流输入的系统，证明其高效性与有效性。
• 分层设计显著缩短高层LSTM的有效序列长度，使长程建模更优，同时保持计算效率。
• 模型捕捉多粒度时序转换的能力，使生成的视频描述更具连贯性与准确性，如定性示例所示。
• HRNE在无需数据增强或多数据集训练的情况下仍保持优异性能，表明其具备强大的泛化能力与特征学习能力。