[论文解读] MVFNet: Multi-View Fusion Network for Efficient Video Recognition

Wenhao Wu, Dongliang He+4 more|arXiv (Cornell University)|Dec 13, 2020

Human Pose and Action Recognition参考文献 39被引用 6

一句话总结

MVFNet 提出了一种多视角融合（MVF）模块，通过高效的 1D 通道分离卷积，从高度-宽度、高度-时间、宽度-时间三个时空视角建模视频动态。该模块集成于 2D CNN 主干网络中，在多个基准测试上实现了最先进性能，FLOPs 与标准 2D CNN 相当，优于 3D-CNN 和高效 2D 方法（如 TSM 和 ECO）。

ABSTRACT

Conventionally, spatiotemporal modeling network and its complexity are the two most concentrated research topics in video action recognition. Existing state-of-the-art methods have achieved excellent accuracy regardless of the complexity meanwhile efficient spatiotemporal modeling solutions are slightly inferior in performance. In this paper, we attempt to acquire both efficiency and effectiveness simultaneously. First of all, besides traditionally treating H x W x T video frames as space-time signal (viewing from the Height-Width spatial plane), we propose to also model video from the other two Height-Time and Width-Time planes, to capture the dynamics of video thoroughly. Secondly, our model is designed based on 2D CNN backbones and model complexity is well kept in mind by design. Specifically, we introduce a novel multi-view fusion (MVF) module to exploit video dynamics using separable convolution for efficiency. It is a plug-and-play module and can be inserted into off-the-shelf 2D CNNs to form a simple yet effective model called MVFNet. Moreover, MVFNet can be thought of as a generalized video modeling framework and it can specialize to be existing methods such as C2D, SlowOnly, and TSM under different settings. Extensive experiments are conducted on popular benchmarks (i.e., Something-Something V1 & V2, Kinetics, UCF-101, and HMDB-51) to show its superiority. The proposed MVFNet can achieve state-of-the-art performance with 2D CNN's complexity.

研究动机与目标

• 解决视频动作识别中准确率与计算效率之间的权衡问题。
• 通过捕捉超越标准空间-时间平面的多个 3D 视角视频动态，提升时空建模能力。
• 设计一种即插即用模块，在仅增加极少 FLOPs 的前提下增强 2D CNN，实现最先进性能。
• 证明 MVFNet 在不同配置下可泛化至现有方法（如 C2D、SlowOnly 和 TSM）。

提出的方法

• MVF 模块沿 T、H 和 W 维度分别应用三个独立的 1D 通道分离卷积，独立建模时间、高度和宽度动态。
• 特征图被分割：一部分经由三个 1D 卷积进行多视角建模，另一部分则直接拼接以保留原始激活值。
• 该模块被集成到标准 ResNet 块中，形成 MVF 块，多个 MVF 块堆叠构成 MVFNet。
• 该架构设计为与 2D CNN 主干网络兼容，并支持即插即用集成，无需对网络结构进行大规模修改。
• 该方法支持端到端训练，无需光学流或 3D 卷积。
• 模型可针对现有方法进行定制：例如禁用某些视角可恢复 TSM 或 C2D 的行为。

实验结果

研究问题

• RQ1 从多个 3D 视角（H-W、H-T、W-T）建模视频是否能超越标准 2D+T 建模，提升时空表征能力？
• RQ2 基于分离 1D 卷积的即插即用模块是否能在 2D CNN 复杂度下实现最先进性能？
• RQ3 MVFNet 在不同配置下是否可泛化至现有方法（如 TSM、C2D 或 SlowOnly）？
• RQ4 MVFNet 是否能在保持低 FLOPs 的同时，超越 3D-CNN 和高效 2D 模型的准确率？

主要发现

• 在 Something-Something V1 上，MVFNet 使用 16 帧输入，FLOPs 为 99G，达到 52.6% 的 top-1 准确率，优于 I3D、ECO 和 TSM，且 FLOPs 更低。
• 在 Kinetics-400 上，MVFNet-R50 使用 8 帧输入达到 76.0% 准确率，超过 TSM（74.1%）和 NL I3D-R50（74.9%），且 FLOPs 减少 2.1 倍。
• 使用 16 帧输入时，MVFNet-R50 达到 77.0% 准确率，优于 NL I3D-R50（76.5%），且 FLOPs 减少 4.2 倍。
• 通过 16 帧和 8 帧的模型集成，MVFNet-En 在 Kinetics-400 上达到 79.1% 准确率，超过 SlowFast（78.9%），且 FLOPs 降低 2.1 倍（188G vs. 213G）。
• 在 UCF-101 和 HMDB-51 上，MVFNet 分别达到 96.6% 和 75.7% 的平均类别准确率，优于 2D 轻量化模型，并与或超越 3D-CNN 基线模型。