[论文解读] Fast Object Detection in Compressed Video

Shiyao Wang, Hongchao Lu+1 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Neural Network Applications参考文献 56被引用 7

一句话总结

本文提出MMNet，一种针对压缩视频的快速目标检测方法，通过利用视频编码器中的运动向量和残差误差来加速特征提取。通过使用轻量级记忆网络将I帧的特征传播至P帧，MMNet在ImageNet VID数据集上仅损失少量精度的情况下，推理速度相比MANet提升高达10倍，相比R-FCN提升3倍。

ABSTRACT

Object detection in videos has drawn increasing attention since it is more practical in real scenarios. Most of the deep learning methods use CNNs to process each decoded frame in a video stream individually. However, the free of charge yet valuable motion information already embedded in the video compression format is usually overlooked. In this paper, we propose a fast object detection method by taking advantage of this with a novel Motion aided Memory Network (MMNet). The MMNet has two major advantages: 1) It significantly accelerates the procedure of feature extraction for compressed videos. It only need to run a complete recognition network for I-frames, i.e. a few reference frames in a video, and it produces the features for the following P frames (predictive frames) with a light weight memory network, which runs fast; 2) Unlike existing methods that establish an additional network to model motion of frames, we take full advantage of both motion vectors and residual errors that are freely available in video streams. To our best knowledge, the MMNet is the first work that investigates a deep convolutional detector on compressed videos. Our method is evaluated on the large-scale ImageNet VID dataset, and the results show that it is 3x times faster than single image detector R-FCN and 10x times faster than high-performance detector MANet at a minor accuracy loss.

研究动机与目标

• 解决在视频目标检测中使用重型CNN处理密集视频帧所导致的计算效率低下问题。
• 利用已嵌入在压缩视频编码器（如H.264）中的运动信息，避免冗余计算。
• 开发一种记忆网络，通过运动向量和残差误差高效地将特征从I帧传播至P帧。
• 通过在记忆网络中引入金字塔特征注意力机制，实现在压缩视频中的多尺度目标检测。
• 证明利用原生编码器信号可实现更快的推理速度，而无需牺牲检测精度。

提出的方法

• 将I帧作为参考帧，仅在I帧上运行完整的识别网络以提取深层特征。
• 对于后续的P帧，采用轻量级记忆网络，输入为I帧特征和运动向量。
• 整合来自视频流的运动向量和残差误差，以对齐和优化跨帧特征。
• 实现金字塔特征注意力机制，以在多尺度间传播特征，提升多尺度检测性能。
• 端到端训练记忆网络，基于运动线索和残差误差预测P帧的准确特征。
• 将所提出的MMNet与后处理技术（如框级别NMS）结合，进一步提升检测性能。

实验结果

研究问题

• RQ1 压缩视频中的运动向量和残差误差能否被有效用于加速视频目标检测？
• RQ2 与基于光流的方法相比，利用编码器原生运动信号进行特征传播在速度和精度方面表现如何？
• RQ3 轻量级记忆网络能否在保持检测精度的前提下，有效将特征从I帧传递至P帧？
• RQ4 金字塔特征注意力机制是否能提升压缩视频中的多尺度目标检测性能？
• RQ5 MMNet在保持大规模视频检测基准上具有竞争力的mAP的前提下，能在多大程度上减少推理时间？

主要发现

• MMNet相比高性能视频检测器MANet，推理速度最高提升10倍，mAP仅出现轻微下降。
• 该方法相比单图像检测器R-FCN速度提升3倍，同时在ImageNet VID数据集上保持了具有竞争力的精度。
• 当结合后处理技术时，MMNet在41 fps下达到73.0%的mAP，最高可达8 fps下79.2%的mAP。
• 运动向量提供了足够的运动线索以实现特征传播，在速度和效率方面优于光流估计。
• 金字塔特征注意力机制通过保留多尺度间的空间细节，实现了有效的多尺度检测。
• 可视化结果证实，运动向量能引导准确的特征对齐，从而生成可靠的边界框预测。