[论文解读] Modeling Multimodal Clues in a Hybrid Deep Learning Framework for Video Classification

Yu–Gang Jiang, Zuxuan Wu+4 more|arXiv (Cornell University)|Jun 14, 2017

Human Pose and Action Recognition参考文献 52被引用 6

一句话总结

该论文提出了一种混合深度学习框架，通过三个卷积神经网络（CNN）和两个长短期记忆网络（LSTM），整合空间、运动、音频和长时序动态特征，随后通过正则化的特征融合网络和上下文优化模块，实现多模态与序列化视频线索的有效建模，在UCF-101上达到93.1%的准确率，在CCV上达到84.5%，显著优于现有最先进方法。

ABSTRACT

Videos are inherently multimodal. This paper studies the problem of how to fully exploit the abundant multimodal clues for improved video categorization. We introduce a hybrid deep learning framework that integrates useful clues from multiple modalities, including static spatial appearance information, motion patterns within a short time window, audio information as well as long-range temporal dynamics. More specifically, we utilize three Convolutional Neural Networks (CNNs) operating on appearance, motion and audio signals to extract their corresponding features. We then employ a feature fusion network to derive a unified representation with an aim to capture the relationships among features. Furthermore, to exploit the long-range temporal dynamics in videos, we apply two Long Short Term Memory networks with extracted appearance and motion features as inputs. Finally, we also propose to refine the prediction scores by leveraging contextual relationships among video semantics. The hybrid deep learning framework is able to exploit a comprehensive set of multimodal features for video classification. Through an extensive set of experiments, we demonstrate that (1) LSTM networks which model sequences in an explicitly recurrent manner are highly complementary with CNN models; (2) the feature fusion network which produces a fused representation through modeling feature relationships outperforms alternative fusion strategies; (3) the semantic context of video classes can help further refine the predictions for improved performance. Experimental results on two challenging benchmarks, the UCF-101 and the Columbia Consumer Videos (CCV), provide strong quantitative evidence that our framework achieves promising results: $93.1\%$ on the UCF-101 and $84.5\%$ on the CCV, outperforming competing methods with clear margins.

研究动机与目标

• 解决现有视频分类方法在利用运动、音频和长时序动态等多模态线索方面不足的问题。
• 通过统一的深度学习框架，整合空间、运动、音频和长时序动态特征，提升视频分类性能。
• 探究结合卷积神经网络（CNN）与长短期记忆网络（LSTM）在建模视频序列中局部时空模式与长程依赖关系方面的有效性。
• 通过利用视频类别之间的语义上下文关系，提升预测性能。
• 证明基于学习关系的特征融合与上下文优化可显著提升分类准确率。

提出的方法

• 使用三个独立的卷积神经网络（CNN）分别从RGB帧（空间外观）、堆叠光流图（运动模式）和音频频谱图（音频信号）中提取特征。
• 两个长短期记忆网络（LSTM）分别处理提取出的空间与运动特征，以序列感知的方式建模长时序动态。
• 一个正则化的特征融合网络将CNN与LSTM的输出整合为统一表征，显式建模多模态特征之间的关系。
• 通过结合LSTM模型输出与融合表征的输出，生成最终预测分数，并利用视频类别之间的语义关系进行上下文优化。
• 在融合与优化阶段采用权重共享与Dropout正则化，以防止过拟合并提升泛化能力。
• 整个系统采用随机梯度下降与交叉熵损失进行端到端训练，优化视频类别分类目标。

实验结果

研究问题

• RQ1 建模长时序依赖的LSTM与提取局部时空特征的CNN在视频分类中如何互补？
• RQ2 能够学习并正则化特征间关系的融合网络是否优于简单的拼接或平均策略？
• RQ3 视频类别之间的语义上下文关系在多大程度上能提升预测准确率？
• RQ4 与仅依赖视觉信息的模型相比，音频信号的引入在多大程度上提升了性能？
• RQ5 所提出的混合框架是否在标准视频分类基准上达到了最先进性能？

主要发现

• 所提出的混合框架在UCF-101数据集上达到93.1%的top-1准确率，显著优于以往最先进方法。
• 在哥伦比亚消费者视频（CCV）数据集上，框架达到84.5%的准确率，明显优于对比方法。
• 建模长时序动态的LSTM与CNN高度互补，其融合带来显著的性能提升。
• 正则化的特征融合网络，能够显式建模多模态特征间关系，优于早期或晚期融合等简单策略。
• 利用视频类别之间语义关系进行上下文优化，可提升预测性能，尤其对表现较差的类别（如“鸟”和“婚礼接待”）效果显著。
• 该框架表现出较强的效率，在单张NVIDIA Tesla K40 GPU上，每段UCF-101视频剪辑的分类耗时约20.8秒，其中特征提取与推理为主要耗时模块。