[论文解读] Modeling Spatial-Temporal Clues in a Hybrid Deep Learning Framework for Video Classification

Zuxuan Wu, Xi Wang+3 more|arXiv (Cornell University)|Apr 7, 2015

Human Pose and Action Recognition参考文献 43被引用 26

一句话总结

该论文提出了一种混合深度学习框架，整合了卷积神经网络（CNNs）的空域特征、基于光流的短期运动特征，以及通过长短期记忆（LSTM）网络实现的长期时序建模。通过结合视频级特征融合与基于序列的LSTM预测，该框架在UCF-101上实现了91.3%的最先进性能，在CCV上实现了83.5%的性能，证明了对空域、运动和时序线索进行联合建模的有效性。

ABSTRACT

Classifying videos according to content semantics is an important problem with a wide range of applications. In this paper, we propose a hybrid deep learning framework for video classification, which is able to model static spatial information, short-term motion, as well as long-term temporal clues in the videos. Specifically, the spatial and the short-term motion features are extracted separately by two Convolutional Neural Networks (CNN). These two types of CNN-based features are then combined in a regularized feature fusion network for classification, which is able to learn and utilize feature relationships for improved performance. In addition, Long Short Term Memory (LSTM) networks are applied on top of the two features to further model longer-term temporal clues. The main contribution of this work is the hybrid learning framework that can model several important aspects of the video data. We also show that (1) combining the spatial and the short-term motion features in the regularized fusion network is better than direct classification and fusion using the CNN with a softmax layer, and (2) the sequence-based LSTM is highly complementary to the traditional classification strategy without considering the temporal frame orders. Extensive experiments are conducted on two popular and challenging benchmarks, the UCF-101 Human Actions and the Columbia Consumer Videos (CCV). On both benchmarks, our framework achieves to-date the best reported performance: $91.3\%$ on the UCF-101 and $83.5\%$ on the CCV.

研究动机与目标

• 解决现有视频分类方法在建模超过短期运动的长期时序依赖性方面的局限性。
• 通过在统一的深度学习框架中联合建模空域、短期运动和长期时序特征，提升分类性能。
• 证明将视频级特征融合与基于LSTM的序列级时序建模相结合，相较于独立方法能获得更优性能。
• 表明通过正则化的深度特征融合比简单拼接或平均来自独立分类器的特征更有效。

提出的方法

• 使用在单个视频帧上训练的CNN提取空域特征。
• 使用应用于短时间窗口内堆叠光流体积的CNN提取短期运动特征。
• 将空域特征和运动特征分别输入独立的LSTM网络，以建模跨视频帧的长期时序依赖性。
• 采用正则化特征融合网络在视频级结合空域和运动特征，通过参数共享和dropout学习特征间的相互关系。
• 将基于LSTM的序列建模预测结果与视频级融合网络的预测结果进行融合，实现最终分类。
• 使用交叉熵损失函数，通过监督学习端到端训练整个框架，优化目标为视频级分类准确率。

实验结果

研究问题

• RQ1 混合深度学习框架能否有效建模视频分类中的空域、短期运动和长期时序线索？
• RQ2 在视频级分类中，空域与运动特征之间的正则化特征融合是否比简单拼接或平均更有效？
• RQ3 引入LSTM进行序列建模是否能为性能带来显著提升，相比传统的帧顺序无关分类方法？
• RQ4 所提出的框架在UCF-101和CCV等标准基准上的表现与最先进方法相比如何？
• RQ5 即使在以物体为中心的类别（如'猫'或'狗'）中，LSTM是否仍能有效捕捉如顺序动作（例如生日派对事件）等时序模式？

主要发现

• 所提出的混合框架在UCF-101数据集上实现了91.3%的新最先进准确率，超越了包括双流CNN和密集轨迹模型在内的先前方法。
• 在哥伦比亚消费者视频（CCV）数据集上，该框架实现了83.5%的准确率，显著优于该基准上所有先前的融合方法。
• 基于LSTM的序列建模与视频级特征融合的结合带来了显著的性能提升，证明了两个组件之间存在强烈的互补性。
• 即使在以物体为中心的类别（如'猫'和'狗'）中，LSTM网络仍能捕捉到有用的时序模式（如一致的运动行为），从而在静态外观之外提升分类性能。
• 该框架具有较高的计算效率，在单个NVIDIA Tesla K40 GPU上处理典型的8秒UCF-101视频耗时不足16秒，涵盖特征提取、CNN推理和预测。