[论文解读] Fusing Multi-Stream Deep Networks for Video Classification

Zuxuan Wu, Yu–Gang Jiang+4 more|arXiv (Cornell University)|Sep 21, 2015

Anomaly Detection Techniques and Applications参考文献 37被引用 28

一句话总结

该论文提出了一种多流深度学习框架，通过自适应融合方法结合类关系正则化，融合空间、运动、音频和长期时序特征，在UCF-101上实现了92.6%的top-1准确率，在Columbia Consumer Videos（CCV）上实现了84.9%的准确率，通过利用互补的多模态线索和每类优化的融合权重，取得了最先进性能。

ABSTRACT

This paper studies deep network architectures to address the problem of video classification. A multi-stream framework is proposed to fully utilize the rich multimodal information in videos. Specifically, we first train three Convolutional Neural Networks to model spatial, short-term motion and audio clues respectively. Long Short Term Memory networks are then adopted to explore long-term temporal dynamics. With the outputs of the individual streams, we propose a simple and effective fusion method to generate the final predictions, where the optimal fusion weights are learned adaptively for each class, and the learning process is regularized by automatically estimated class relationships. Our contributions are two-fold. First, the proposed multi-stream framework is able to exploit multimodal features that are more comprehensive than those previously attempted. Second, we demonstrate that the adaptive fusion method using the class relationship as a regularizer outperforms traditional alternatives that estimate the weights in a "free" fashion. Our framework produces significantly better results than the state of the arts on two popular benchmarks, 92.2\% on UCF-101 (without using audio) and 84.9\% on Columbia Consumer Videos.

研究动机与目标

• 解决现有视频分类方法未能充分挖掘视频多模态信息（如空间、运动、音频和长期时序动态）的局限性。
• 克服简单融合策略导致的次优性能问题，这些策略将所有流同等对待，而未考虑类别特定的相关性或语义关系。
• 开发一种自适应融合机制，为每个类别学习最优权重，提升预测的鲁棒性和准确性。
• 证明在融合过程中引入类别关系作为正则化项，可显著提升性能，超越标准融合方法。

提出的方法

• 训练三个独立的卷积神经网络（ConvNets），分别用于从视觉帧（空间）、堆叠光流（短期运动）和音频频谱图（音频）中提取特征。
• 对空间流和运动流的帧级特征应用长短期记忆（LSTM）网络，以建模长期时序依赖性。
• 提出一种新颖的自适应融合方法，通过优化一个以自动估计的类别关系正则化的损失函数，学习类别特定的融合权重，以提升泛化能力。
• 融合过程同时使用稀疏性与语义类别相关性的先验知识进行正则化，防止无关类别之间的不当知识共享。
• 框架采用端到端训练，联合优化网络权重和融合参数，实现多模态信号的有效整合。
• 类别关系从数据中自动估计，无需额外标签，从而在融合权重学习过程中实现自监督正则化。

实验结果

研究问题

• RQ1 与单流或有限流方法相比，集成空间、运动、音频和长期时序特征的多流深度网络架构是否能显著提升视频分类准确率？
• RQ2 与固定或无约束的融合策略相比，采用类别特定权重和类别关系正则化的自适应融合方法是否在视频分类中表现更优？
• RQ3 所提出的融合方法在捕捉视频类别之间语义关系方面有多有效，特别是在复杂的动作识别任务中？
• RQ4 在统一的深度学习框架中，当与空间和运动流结合时，音频和长期时序特征在多大程度上促进了性能提升？
• RQ5 所提出的方法是否能在不依赖手工设计特征的前提下，在UCF-101和Columbia Consumer Videos等标准基准上实现最先进性能？

主要发现

• 所提出的多流框架在UCF-101上达到92.6%的top-1准确率，显著优于依赖手工特征的先前最先进方法。
• 在Columbia Consumer Videos（CCV）数据集上，该方法实现了84.9%的准确率，创下新SOTA结果，表明其在未修剪网络视频上的强大泛化能力。
• 采用类别关系正则化的自适应融合方法相比非正则化融合，性能最高提升1.7%，证明了语义感知权重学习的有效性。
• 消融研究证实，移除音频流后，CCV上的性能下降0.9%，UCF-101上的性能下降1.4%，证明了音频对识别准确率的贡献。
• 在CCV上的每类性能分析显示，所有类别均表现出一致且显著的性能提升，表明融合机制具有鲁棒性和可靠性。
• 该框架通过引入更多模态和更复杂的融合策略，优于先前使用LSTM或两流网络的工作。