[论文解读] MotionSqueeze: Neural Motion Feature Learning for Video Understanding

Heeseung Kwon, Manjin Kim+2 more|arXiv (Cornell University)|Jul 20, 2020

Human Pose and Action Recognition参考文献 32被引用 5

一句话总结

本文提出 MotionSqueeze（MS），一种轻量级、端到端可训练的神经模块，可直接从视频帧中学习运动特征，而无需依赖外部光流计算。通过在内部学习帧间对应关系并生成运动特征，MS 在 Something-Something-V1&V2 上显著提升了动作识别准确率，且计算开销极低，优于包括使用预计算光流的双流网络在内的最先进方法。

ABSTRACT

Motion plays a crucial role in understanding videos and most state-of-the-art neural models for video classification incorporate motion information typically using optical flows extracted by a separate off-the-shelf method. As the frame-by-frame optical flows require heavy computation, incorporating motion information has remained a major computational bottleneck for video understanding. In this work, we replace external and heavy computation of optical flows with internal and light-weight learning of motion features. We propose a trainable neural module, dubbed MotionSqueeze, for effective motion feature extraction. Inserted in the middle of any neural network, it learns to establish correspondences across frames and convert them into motion features, which are readily fed to the next downstream layer for better prediction. We demonstrate that the proposed method provides a significant gain on four standard benchmarks for action recognition with only a small amount of additional cost, outperforming the state of the art on Something-Something-V1&V2 datasets.

研究动机与目标

• 解决在视频理解模型中使用外部光流带来的计算瓶颈问题。
• 开发一种轻量级、可训练的模块，直接从视频帧中内部学习运动特征。
• 在不显著增加模型大小或推理成本的前提下，提升动作识别性能。
• 通过即插即用的方式，实现与现有视频分类架构的高效集成。
• 证明内部学习运动特征可超越或匹配基于外部光流的方法性能。

提出的方法

• 将 MotionSqueeze（MS）模块插入神经网络中间，从相邻视频帧中学习运动特征。
• 通过可学习的注意力机制计算相邻帧之间的特征相似性，建立帧间对应关系。
• 通过可微变换将这些对应关系转换为紧凑的运动特征，并输入到下游网络层。
• 整个模块可通过反向传播实现端到端可训练，无需预计算光流。
• 该方法被集成到一种新架构 MSNet 中，该架构将 MS 模块与标准 2D 或 3D CNN 结合。
• MS 模块采用基于空间相似性的方法，避免显式光流估计，从而降低计算成本。

实验结果

研究问题

• RQ1 一个可学习的内部模块能否有效替代视频动作识别中对外部光流计算的依赖？
• RQ2 端到端学习运动特征是否能带来优于使用预计算光流的性能？
• RQ3 所提出的模块能否在不显著增加模型大小或 FLOPs 的前提下，高效集成到现有视频网络中？
• RQ4 MS 模块的性能与使用光流的最先进双流网络相比如何？
• RQ5 MS 模块学习到的运动特征在多大程度上能与 3D 卷积提取的时空特征互补？

主要发现

• 在 Something-Something-V1 上，MS 模块将 ResNet-18 的准确率提升了 21.3%，将 MobileNet-V2 的准确率提升了 19.2%，在 2D CNN 上表现出显著优势。
• 在 I3D 和 TSM-ResNet-18 上，MS 模块分别将 top-1 准确率提升 2.4% 和 4.0%，表明其与现有时空特征具有良好的互补性。
• MSNet 在 top-1 准确率上比两流 8+(8×5) 网络高出 0.8%，同时 FLOPs 约为后者的二分之一。
• 在低帧率光流条件下，MSNet 与两流网络之间的性能差距扩大至 1.4 个百分点，表明其对低质量输入具有更强的鲁棒性。
• 可视化结果证实，MS 模块在无任何直接监督的情况下，能够学习到可靠的运动模式，包括平移、旋转和形变。
• 该方法在 Something-Something-V1 和 V2 上实现了最先进性能，且计算成本仅略有增加。