[论文解读] DMC-Net: Generating Discriminative Motion Cues for Fast Compressed Video Action Recognition

Zheng Shou, Xudong Lin+5 more|arXiv (Cornell University)|Jan 11, 2019

Human Pose and Action Recognition参考文献 59被引用 10

一句话总结

DMC-Net 提出一种轻量级生成器网络，通过精细化压缩视频中的低分辨率、含噪运动向量，生成高度判别性的运动线索（DMC），其性能接近光流。通过端到端联合训练光流重建损失与动作识别损失，DMC-Net 实现了接近光流的精度，同时推理速度比基于光流的方法快两个数量级，且推理时完全在压缩域内运行。

ABSTRACT

Motion has shown to be useful for video understanding, where motion is typically represented by optical flow. However, computing flow from video frames is very time-consuming. Recent works directly leverage the motion vectors and residuals readily available in the compressed video to represent motion at no cost. While this avoids flow computation, it also hurts accuracy since the motion vector is noisy and has substantially reduced resolution, which makes it a less discriminative motion representation. To remedy these issues, we propose a lightweight generator network, which reduces noises in motion vectors and captures fine motion details, achieving a more Discriminative Motion Cue (DMC) representation. Since optical flow is a more accurate motion representation, we train the DMC generator to approximate flow using a reconstruction loss and a generative adversarial loss, jointly with the downstream action classification task. Extensive evaluations on three action recognition benchmarks (HMDB-51, UCF-101, and a subset of Kinetics) confirm the effectiveness of our method. Our full system, consisting of the generator and the classifier, is coined as DMC-Net which obtains high accuracy close to that of using flow and runs two orders of magnitude faster than using optical flow at inference time.

研究动机与目标

• 通过提升运动表征质量，弥合压缩视频方法与基于光流的动作识别之间的精度差距。
• 通过可学习的精细化过程，克服压缩视频运动向量分辨率低、噪声多的局限。
• 实现在推理时无需计算光流的高精度视频动作识别，同时保持高效性。
• 设计一个生成器，通过同时学习光流监督与下游分类任务，生成具有判别性的运动线索。
• 通过仅在压缩域内运行（训练后），在计算效率与识别精度之间实现平衡。

提出的方法

• 提出一种轻量级 DMC 生成器网络，以堆叠的运动向量和残差为输入，对粗粒度运动表征进行精细化。
• 使用像素级重建损失训练生成器，使其与真实光流匹配，并引入对抗性损失以匹配光流分布。
• 将生成器与动作分类器端到端联合训练，使生成器学习对识别任务具有判别性的运动线索。
• 在输入前使用双线性插值对运动向量进行平滑处理，以减少块状伪影，提升 DMC 质量。
• 将 DMC 生成分解为两个阶段（误差校正与上采样）作为消融实验，但发现单阶段训练更有效。
• 推理时完全在压缩域内运行，避免视频解码与光流计算。

实验结果

研究问题

• RQ1 通过可学习的生成器，能否将压缩视频运动向量的判别性质量提升至与光流在动作识别中相当？
• RQ2 与单独训练相比，联合使用光流重建与分类监督的端到端训练是否能提升运动线索质量？
• RQ3 单阶段生成器是否优于将误差校正与上采样分解为两阶段的生成方式？
• RQ4 在输入前通过双线性插值对运动向量进行平滑处理，是否能提升 DMC 质量与识别准确率？
• RQ5 压缩域模型在显著更快的速度下，能在多大程度上匹配基于光流模型的精度？

主要发现

• 在 HMDB-51 上，DMC-Net 达到 61.5% 的准确率，与 CoViAR + TV-L1 Flow 性能相当，但比基于光流的方法快两个数量级。
• 在 Kinetics-n50 上，DMC-Net 达到 65.42% 的准确率，与 CoViAR + TV-L1 Flow（65.43%）非常接近，并优于无光流的 CoViAR（65.37%）。
• 消融实验表明，端到端训练至关重要，若移除该训练方式，HMDB-51 上准确率下降至 59.3%。
• 两阶段 DMC 生成未提升性能，准确率降至 60.6%，表明单阶段精细化更有效。
• 在输入前对运动向量进行双线性插值可达到 61.4% 的准确率，略低于主方法（61.5%），但仍具有效性，支持直接使用块状运动向量。
• DMC 生成器每帧仅消耗 0.23 GFLOPs 与 0.106 ms，其推理开销可忽略不计，远低于光流计算。