[论文解读] Compressed Video Action Recognition with Refined Motion Vector

Haoyuan Cao, Shining Yu+1 more|arXiv (Cornell University)|Oct 6, 2019

Human Pose and Action Recognition参考文献 27被引用 8

一句话总结

本文提出了一种改进的运动向量方法，通过增强视频压缩编码器产生的噪声运动向量，提升压缩视频动作识别性能，以更高效、更准确的替代方案取代光流。该方法在UCF-101和HMDB-51数据集上实现了最先进性能，计算开销极低，仅使用两个子网络而非原始CoViAR框架的三个子网络，表现更优。

ABSTRACT

Although CNN has reached satisfactory performance in image-related tasks, using CNN to process videos is much more challenging due to the enormous size of raw video streams. In this work, we propose to use motion vectors and residuals from modern video compression techniques to effectively learn the representation of the raw frames and greatly remove the temporal redundancy, giving a faster video processing model. Compressed Video Action Recognition(CoViAR) has explored to directly use compressed video to train the deep neural network, where the motion vectors were utilized to present temporal information. However, motion vector is designed for minimizing video size where precise motion information is not obligatory. Compared with optical flow, motion vectors contain noisy and unreliable motion information. Inspired by the mechanism of video compression codecs, we propose an approach to refine the motion vectors where unreliable movement will be removed while temporal information is largely reserved. We prove that replacing the original motion vector with refined one and using the same network as CoViAR has achieved state-of-art performance on the UCF-101 and HMDB-51 with negligible efficiency degrades comparing with original CoViAR.

研究动机与目标

• 解决视频压缩中运动向量质量差的问题，其噪声大且不可靠，难以用于动作识别。
• 开发一种方法，对运动向量进行优化，以保留时间信息的同时去除不可靠的运动分量。
• 利用压缩视频数据，创建一种轻量化、高效的光流替代方案，用于视频动作识别。
• 在不造成显著速度下降的前提下，实现高于现有压缩视频动作识别方法的准确率。

提出的方法

• 通过应用置信度图阈值化技术，对运动向量进行优化，以抑制不可靠的运动分量。
• 基于ResNet-18设计一个优化网络，处理运动向量并生成优化后的运动表征。
• 将优化后的运动向量用作两流动作识别模型的输入，替代光流。
• 该模型利用现有的压缩视频数据（运动向量和残差），无需原始视频帧。
• 优化过程旨在保留时间一致性的同时去除噪声，模仿光流的行为。
• 该框架采用与CoViAR相同的网络架构进行评估，确保公平比较。

实验结果

研究问题

• RQ1 从压缩视频中优化的运动向量能否在动作识别性能上优于原始运动向量？
• RQ2 在仅使用压缩视频数据的前提下，优化运动向量是否能相比基于光流的方法提升准确率？
• RQ3 该优化运动向量方法能否在提升准确率的同时保持高推理速度？
• RQ4 与使用运动向量和残差的三流融合设置相比，优化运动向量方法是否更具效率？
• RQ5 当使用更深的网络时，优化运动向量方法是否能进一步提升性能？

主要发现

• 在HMDB-51上（三个分折的平均值），该优化运动向量方法实现了59.69%的测试准确率，优于原始CoViAR方法的59.1%（三网络融合）。
• 在UCF-101上，该优化运动向量方法实现了最先进性能，与CoViAR相比仅造成极小的效率损失。
• 仅使用两个子网络（优化mv + I帧）的该方法，在HMDB-51上超越了CoViAR三子网络融合（mv + I帧 + 残差）的准确率。
• 优化运动向量子网络带来的准确率提升超过原始CoViAR中残差子网络的提升，表明其是更有效的特征表征。
• 在HMDB-51 Split1上，将优化运动向量子网络的主干从ResNet-18升级为ResNet-34，准确率提升了1.5%，表明其具有良好的深度扩展性。
• 该方法仅带来可忽略的速度损失，在UCF-101上处理速度达到每秒486帧，相比CoViAR的500 fps，因此适用于低资源环境。