[论文解读] Deep Temporal Linear Encoding Networks

Ali Diba, Vivek Sharma+1 more|arXiv (Cornell University)|Nov 21, 2016

Human Pose and Action Recognition参考文献 39被引用 12

一句话总结

本文提出时序线性编码（TLE），一种新颖的端到端深度学习层，通过编码稀疏视频片段，将整个视频的时空特征聚合为紧凑且鲁棒的表示。TLE增强了2D和3D卷积神经网络在动作识别中的性能，在HMDB51（71.1%）和UCF101（95.6%）上实现了最先进水平，同时提升了效率和判别性特征学习能力。

ABSTRACT

The CNN-encoding of features from entire videos for the representation of human actions has rarely been addressed. Instead, CNN work has focused on approaches to fuse spatial and temporal networks, but these were typically limited to processing shorter sequences. We present a new video representation, called temporal linear encoding (TLE) and embedded inside of CNNs as a new layer, which captures the appearance and motion throughout entire videos. It encodes this aggregated information into a robust video feature representation, via end-to-end learning. Advantages of TLEs are: (a) they encode the entire video into a compact feature representation, learning the semantics and a discriminative feature space; (b) they are applicable to all kinds of networks like 2D and 3D CNNs for video classification; and (c) they model feature interactions in a more expressive way and without loss of information. We conduct experiments on two challenging human action datasets: HMDB51 and UCF101. The experiments show that TLE outperforms current state-of-the-art methods on both datasets.

研究动机与目标

• 解决现有卷积神经网络在建模整个视频中长程时序依赖关系方面的局限性。
• 克服传统双流网络和3D卷积神经网络在依赖密集时序采样或固定长度片段时存在的计算效率低下和信息丢失问题。
• 开发一种通用的轻量化编码层，增强特征表示能力，同时不增加模型参数量。
• 实现端到端学习全局视频级特征，捕捉长序列中外观与运动动态的综合信息。
• 在多种架构和数据集（包括HMDB51和UCF101）上，验证该方法的有效性与灵活性。

提出的方法

• TLE处理从整个视频时长中采样的固定数量稀疏视频片段（帧或片段）。
• 每个片段由共享权重的卷积网络（2D或3D）处理，以提取空间和时序特征。
• 所有片段的特征通过可学习的线性投影层聚合，形成紧凑的全局视频嵌入表示。
• 该方法采用双线性或最大池化融合策略，在低维空间中建模片段间的特征交互。
• TLE作为可微分层集成到现有卷积神经网络架构中，支持通过反向传播进行端到端训练。
• 该框架支持与额外数据流（如来自Places365的场景上下文）融合，通过添加预训练的空间流实现。

Figure 1 : Temporal linear encoding for video classification. Given several segments of an entire video, be it either a number of frames or a number of clips, the model builds a compact video representation from the spatial and temporal cues they contain, through end-to-end learning. The ConvNets ap

实验结果

研究问题

• RQ1 可学习的紧凑时序编码层是否能提升端到端卷积神经网络中的全局视频表示学习？
• RQ2 TLE在标准动作识别基准上与手工设计特征（如iDT+FV）及最先进深度学习方法相比表现如何？
• RQ3 TLE在不同网络架构（包括双流网络和C3D网络）上能多大程度上提升性能？
• RQ4 TLE能否有效整合辅助信息（如场景上下文）以进一步提升动作识别准确率？
• RQ5 TLE在降低模型复杂度的同时，是否能保持判别能力，并避免因池化或截断导致的信息丢失？

主要发现

• TLE在UCF101上达到95.6%的最先进准确率，在HMDB51上达到71.1%，优于先前方法（包括iDT+FV和双流网络）。
• TLE:Bilinear将C3D卷积神经网络在UCF101上的性能提升至86.3%，在HMDB51上达到60.3%，超过原始C3D和双流基线模型。
• 通过引入Places365预训练特征提供的场景上下文信息，性能进一步提升至UCF101的83.8%和HMDB51的63.6%，表明特征学习具有互补性。
• 与全连接层相比，TLE显著减少了模型参数量，同时保持了丰富的特征交互能力。
• TLE计算高效且鲁棒，无需密集帧处理即可实现有效的长程时序建模。
• 该方法在架构间泛化良好，适用于2D和3D卷积神经网络，并可扩展至其他序列数据流。

Figure 2 : Our temporal linear encoding applied to the design of two-stream ConvNets [ 24 ] : spatial and temporal networks. The spatial network operates on RGB frames, and the temporal network operates on optical flow fields. The features maps from the spatial and temporal ConvNets for multiple suc