[论文解读] Flow-Distilled IP Two-Stream Networks for Compressed Video Action Recognition

Shiyuan Huang, Xudong Lin+2 more|arXiv (Cornell University)|Dec 10, 2019

Human Pose and Action Recognition参考文献 34被引用 8

一句话总结

该论文提出Flow-Distilled IP Two-Stream Networks (IP TSN)，一种压缩域视频动作识别框架，利用I帧进行空间建模，P帧（含运动向量和残差）进行时间建模，并通过光流特征蒸馏训练轻量级2D-3D网络。该方法在HMDB51上实现7%的准确率提升，在UCF101上实现3%的提升，同时推理速度比光流快60倍，优于以往的压缩域方法，接近解码视频基线模型。

ABSTRACT

Two-stream networks have achieved great success in video recognition. A two-stream network combines a spatial stream of RGB frames and a temporal stream of Optical Flow to make predictions. However, the temporal redundancy of RGB frames as well as the high-cost of optical flow computation creates challenges for both the performance and efficiency. Recent works instead use modern compressed video modalities as an alternative to the RGB spatial stream and improve the inference speed by orders of magnitudes. Previous works create one stream for each modality which are combined with an additional temporal stream through late fusion. This is redundant since some modalities like motion vectors already contain temporal information. Based on this observation, we propose a compressed domain two-stream network IP TSN for compressed video recognition, where the two streams are represented by the two types of frames (I and P frames) in compressed videos, without needing a separate temporal stream. With this goal, we propose to fully exploit the motion information of P-stream through generalized distillation from optical flow, which largely improves the efficiency and accuracy. Our P-stream runs 60 times faster than using optical flow while achieving higher accuracy. Our full IP TSN, evaluated over public action recognition benchmarks (UCF101, HMDB51 and a subset of Kinetics), outperforms other compressed domain methods by large margins while improving the total inference speed by 20%.

研究动机与目标

• 解决两流视频识别模型中光流计算的高计算成本问题。
• 通过利用视频编码中I帧和P帧的固有结构，提升压缩视频动作识别的效率与准确率。
• 通过P帧的运动向量和残差作为统一运动流，消除冗余的时间流。
• 开发一种训练策略，利用高层光流特征进行蒸馏，而无需显式重建光流。
• 在保持实时推理速度的同时，实现接近全分辨率视频方法的性能。

提出的方法

• 模型采用两流架构，其中I流使用2D CNN处理RGB I帧，以捕捉空间外观特征。
• P流使用2D-3D CNN处理P帧的运动向量（MV）和残差误差（R），以建模时空动态。
• 训练期间使用光流特征作为监督信号，引导P流学习运动表征，而无需显式计算光流。
• 应用广义蒸馏，将光流中的运动知识迁移至MV和R特征，提升特征质量。
• 在早期阶段融合I流和P流，实现最终动作预测，避免冗余的时间流。
• 端到端训练框架结合交叉熵损失与蒸馏损失，实现高准确率与高效率。

实验结果

研究问题

• RQ1 P帧的组成部分（运动向量和残差）能否有效替代两流视频识别中的光流？
• RQ2 如何在不显式估计光流的情况下，将高层光流信息迁移至压缩域特征？
• RQ3 统一的P流架构能否优于压缩视频识别中独立的模态流？
• RQ4 在两流框架中，用MV和R替代光流时，准确率与推理速度之间的权衡如何？
• RQ5 从光流蒸馏能在多大程度上提升压缩视频动作识别的性能？

主要发现

• 所提出的IP TSN在HMDB51上达到69.1%的top-1准确率，比之前最佳压缩域方法（DMC-Net，准确率为61.8%）高出7个百分点。
• 在UCF101上，模型达到93.4%的top-1准确率，比之前最佳压缩域方法高出2.5个百分点。
• P流的推理速度比光流流快60倍，同时保持相近的准确率，显著提升了推理效率。
• 与基线方法相比，该模型将总推理GFLOPs降低了20%，同时提升了准确率。
• 该方法甚至优于某些解码视频两流模型（如ECO），在计算成本极低的情况下实现了更高的准确率。
• 使用ResNet152主干网络、16帧片段和10个裁剪输入时性能最佳，证实了IP TSN中非对称网络设计的有效性。