[论文解读] End-to-end Video-level Representation Learning for Action Recognition

Jiagang Zhu, Wei Zou+1 more|arXiv (Cornell University)|Nov 11, 2017

Human Pose and Action Recognition参考文献 47被引用 13

一句话总结

该论文提出深度时空金字塔池化网络（DTPP），一种端到端的视频级表征学习方法，通过时间金字塔池化层将RGB和光流流中稀疏采样的帧级特征聚合为多尺度、序列感知的视频级表征。DTPP在UCF101和HMDB51数据集上取得最先进性能，相较于之前方法在HMDB51上最高提升2.3%，通过晚期融合实现96.2%的准确率。

ABSTRACT

From the frame/clip-level feature learning to the video-level representation building, deep learning methods in action recognition have developed rapidly in recent years. However, current methods suffer from the confusion caused by partial observation training, or without end-to-end learning, or restricted to single temporal scale modeling and so on. In this paper, we build upon two-stream ConvNets and propose Deep networks with Temporal Pyramid Pooling (DTPP), an end-to-end video-level representation learning approach, to address these problems. Specifically, at first, RGB images and optical flow stacks are sparsely sampled across the whole video. Then a temporal pyramid pooling layer is used to aggregate the frame-level features which consist of spatial and temporal cues. Lastly, the trained model has compact video-level representation with multiple temporal scales, which is both global and sequence-aware. Experimental results show that DTPP achieves the state-of-the-art performance on two challenging video action datasets: UCF101 and HMDB51, either by ImageNet pre-training or Kinetics pre-training.

研究动机与目标

• 解决两流动作识别模型中部分观察训练和非端到端学习的局限性。
• 克服现有视频级表征学习方法中单一时序尺度建模的限制。
• 构建紧凑、全局且序列感知的视频级表征，兼具判别性与高效性。
• 提升在HMDB51等挑战性数据集上的性能，其中运动线索至关重要。
• 实现端到端训练，直接从原始视频输入优化视频级预测。

提出的方法

• 在整段视频中稀疏采样RGB图像和光流堆叠，以提取帧级特征。
• 应用时间金字塔池化层，将帧级特征聚合为固定大小的多尺度视频级表征。
• 在时间金字塔池化层中采用自粗到精的架构，以捕捉多时序尺度下的长程时序依赖。
• 使用视频级标签进行端到端训练，避免帧级预测的聚合。
• 利用预训练的ImageNet或Kinetics模型初始化主干网络，以提升特征学习能力。
• 采用与传统方法（如iDT和MIFS）结合的晚期融合策略，进一步提升性能。

实验结果

研究问题

• RQ1 与帧级或片段级学习相比，端到端的视频级表征学习是否能提升动作识别性能？
• RQ2 通过时间金字塔池化层实现的多尺度时序建模是否能增强动作识别基准上的判别能力？
• RQ3 端到端训练如何影响视频级表征的鲁棒性，相较于非端到端方法？
• RQ4 该方法在HMDB51等挑战性数据集上的泛化能力如何，其中动作线索细微且视频较短？
• RQ5 紧凑的、序列感知的视频级表征是否能超越依赖帧级集成或高维特征的模型？

主要发现

• DTPP在UCF101和HMDB51上均取得最先进性能，与iDT和MIFS融合后，单模型准确率分别达到96.2%和76.3%。
• 在HMDB51上，DTPP相比之前最佳单模型方法提升2.3%，展现出在挑战性、依赖运动的动作上的强大性能。
• 使用Kinetics预训练后，DTPP在UCF101上超越TSN（BN-Inception）1.0%，在HMDB51上超越1.4%，在两个数据集上均达到最先进水平。
• DTPP优于动态图像网络（Dynamic Image Networks），后者采用集成建模与全帧输入，表明多尺度、端到端学习的优势。
• 可视化结果表明，DTPP在序列相关动作（如“坐下”、“空翻”、“拔剑”）上显著优于TSN（准确率提升超过15%）。
• 该方法在HMDB51上尤为有效，其中运动线索更为关键，且在晚期融合中为时序流赋予更高权重（0.6）时收益更明显。