[论文解读] Learning Efficient Video Representation with Video Shuffle Networks

Pingchuan Ma, Yao Zhou+2 more|arXiv (Cornell University)|Nov 26, 2019

Human Pose and Action Recognition参考文献 48被引用 4

一句话总结

本文提出视频混洗网络（Video Shuffle Networks, VSN），一种无需参数的即插即用模块，通过通道分组与时间混洗操作在帧间重新组织特征图，使标准2D卷积神经网络能够学习时空表征。该方法在Something-Something-V1/V2和Moments in Time数据集上实现最先进性能，额外参数与FLOPs均为零，显著提升2D CNN基线模型的准确率，同时保持低推理延迟。

ABSTRACT

3D CNN shows its strong ability in learning spatiotemporal representation in recent video recognition tasks. However, inflating 2D convolution to 3D inevitably introduces additional computational costs, making it cumbersome in practical deployment. We consider whether there is a way to equip the conventional 2D convolution with temporal vision no requiring expanding its kernel. To this end, we propose the video shuffle, a parameter-free plug-in component that efficiently reallocates the inputs of 2D convolution so that its receptive field can be extended to the temporal dimension. In practical, video shuffle firstly divides each frame feature into multiple groups and then aggregate the grouped features via temporal shuffle operation. This allows the following 2D convolution aggregate the global spatiotemporal features. The proposed video shuffle can be flexibly inserted into popular 2D CNNs, forming the Video Shuffle Networks (VSN). With a simple yet efficient implementation, VSN performs surprisingly well on temporal modeling benchmarks. In experiments, VSN not only gains non-trivial improvements on Kinetics and Moments in Time, but also achieves state-of-the-art performance on Something-Something-V1, Something-Something-V2 datasets.

研究动机与目标

• 解决3D CNN在视频识别中计算成本过高的问题，同时保持强大的时序建模能力。
• 使标准2D CNN在不扩展卷积核大小或增加可学习参数的情况下学习时序依赖性。
• 设计一种轻量化、通用且高效的组件，可无缝集成至现有2D视频模型中。
• 在不增加推理延迟的前提下，提升长时序与细粒度动作识别基准上的性能。

提出的方法

• 提出视频混洗：一种无参数操作，将每帧的特征通道划分为等大小组，并通过沿时间维堆叠相同索引的分组特征，实现跨时间帧的重新组织。
• 在残差块中的2D卷积前后应用视频混洗，使2D卷积能够访问全局时空上下文。
• 使用逆向混洗操作在时序建模后恢复原始空间特征布局，确保与标准2D CNN架构的兼容性。
• 在TSN框架中集成视频混洗，采用ResNet-50和ResNet-101作为骨干网络。
• 设计两种残差块变体——headtail与compact，将视频混洗插入特定位置以优化时序建模。
• 端到端训练，输入为RGB图像，评估在Kinetics、Moments in Time和Something-Something数据集上的表现。

实验结果

研究问题

• RQ1 2D卷积能否在不增加参数或FLOPs的前提下，有效扩展以建模时序依赖？
• RQ2 所提出的视频混洗操作在性能与效率上相较于现有时序建模模块（如时间位移或3D卷积）表现如何？
• RQ3 在2D CNN中，视频混洗模块的最优位置与数量为何？
• RQ4 视频混洗能否在Something-Something-V1/V2等具有挑战性的时序动作识别基准上实现最先进性能？

主要发现

• VSN-R50在Something-Something-V2上达到44.5%的top-1准确率，较之前最先进方法提升2.1%，且无额外参数或FLOPs。
• VSN-R101在Something-Something-V2上达到46.5%准确率，较基线TSN-ResNet-101高出23.8个百分点。
• 在Kinetics上，VSN-R50较基线TSN-ResNet-50提升2.0%准确率，VSN-R101达到75.4%准确率，较基线提升2.6%。
• VSN保持低延迟——VSN-R50为16.5ms，VSN-R101为28.7ms，分别实现79.5和47.2帧/秒的推理速度，较I3D快13倍。
• 紧凑型残差块变体在Kinetics上较headtail变体高出2.0%，在Something-Something-V1上高出26.4%，表明其设计更具优势。
• 将视频混洗与时间位移模块结合，可实现最高准确率（Kinetics上73.5%，Sth-V1上46.6%），证明二者具有互补优势。