[论文解读] Hierarchical Recurrent Neural Network for Video Summarization

Bin Zhao, Xuelong Li+1 more|arXiv (Cornell University)|Apr 28, 2019

Video Analysis and Summarization参考文献 35被引用 4

一句话总结

该论文提出H-RNN，一种用于视频摘要的两层分层循环神经网络，通过分别建模子片段内和子片段间的时间依赖关系。通过使用单向LSTM处理短视频子片段，以及使用双向LSTM处理子片段级别的依赖关系，H-RNN在减少计算量的同时有效捕捉了长程时间结构，在Combined和VTW数据集上优于当前最先进方法。

ABSTRACT

Exploiting the temporal dependency among video frames or subshots is very important for the task of video summarization. Practically, RNN is good at temporal dependency modeling, and has achieved overwhelming performance in many video-based tasks, such as video captioning and classification. However, RNN is not capable enough to handle the video summarization task, since traditional RNNs, including LSTM, can only deal with short videos, while the videos in the summarization task are usually in longer duration. To address this problem, we propose a hierarchical recurrent neural network for video summarization, called H-RNN in this paper. Specifically, it has two layers, where the first layer is utilized to encode short video subshots cut from the original video, and the final hidden state of each subshot is input to the second layer for calculating its confidence to be a key subshot. Compared to traditional RNNs, H-RNN is more suitable to video summarization, since it can exploit long temporal dependency among frames, meanwhile, the computation operations are significantly lessened. The results on two popular datasets, including the Combined dataset and VTW dataset, have demonstrated that the proposed H-RNN outperforms the state-of-the-arts.

研究动机与目标

• 解决标准RNN在建模长视频中长程时间依赖关系方面的局限性。
• 通过利用分层视频结构——子片段内帧与完整视频中子片段之间的关系——提升视频摘要性能。
• 与直接应用于长视频序列的标准RNN相比，降低计算成本和信息损失。
• 增强非线性拟合能力，以改善视频摘要中的表征学习。
• 开发一种比现有基于RNN的视频摘要模型更有效且高效的架构。

提出的方法

• 该模型采用两层分层RNN：第一层为单向LSTM，用于处理单个视频子片段。
• 每个子片段从原始视频中均匀切分，第一层LSTM的最终隐藏状态被提取为子片段级别的表征。
• 第二层为双向LSTM，用于处理子片段表征序列，以建模前向和后向的子片段间依赖关系。
• 双向LSTM的最终输出用于预测每个子片段被选为摘要关键子片段的概率。
• 分层设计通过缩短有效时间步长，实现对长程时间结构的有效建模，减少信息损失和计算负载。
• 该方法采用端到端训练，使用交叉熵损失优化关键子片段的选择。

实验结果

研究问题

• RQ1 与标准RNN相比，分层RNN结构是否能更好地建模长视频序列中的长程时间依赖关系？
• RQ2 将子片段内与子片段间时间建模分离，是否能提升视频摘要性能？
• RQ3 与标准RNN相比，该分层设计是否能在保持或提升准确率的同时降低计算成本？
• RQ4 与单向或单层RNN相比，第二层的双向LSTM在捕捉子片段间依赖关系方面表现如何？
• RQ5 该分层结构在多大程度上增强了对视频摘要任务的非线性拟合能力？

主要发现

• H-RNN在Combined和VTW数据集上均优于当前最先进方法，包括vsLSTM和dppLSTM。
• 在VTW数据集上，H-RNN性能优于HD-VS（使用2D和3D CNN组合），归因于其更优的长序列建模能力。
• 第二层双向LSTM显著优于单向LSTM，证实了建模前向与后向上下文的重要性。
• H-RNN在固定80帧输入长度下，优于单层和双向LSTM，表明分层处理相比平均池化或均匀采样具有优势。
• 分层结构在减少信息损失和计算负担的同时增强非线性拟合能力，从而提升摘要质量。
• H-RNN生成的示例摘要与人工标注的关键子片段高度一致，表明其与人类对视频重要性的感知具有强对齐性。