[论文解读] Mobile Video Action Recognition

Yuqi Huo, Xiaoli Xu+4 more|arXiv (Cornell University)|Aug 27, 2019

Human Pose and Action Recognition参考文献 37被引用 14

一句话总结

本文提出了一种轻量级移动视频动作识别框架，通过 MobileNetV2 和一种新型的时间三线性池化（TTP）模块，对压缩视频模态（I-帧、运动矢量和残差）进行处理，以融合多模态特征。该方法在移动设备上实现了约 40 FPS 的推理速度，并在 HMDB-51 和 UCF101 基准测试中保持了具有竞争力的准确率，同时在模型效率方面优于当前最先进模型。

ABSTRACT

Video action recognition, which is topical in computer vision and video analysis, aims to allocate a short video clip to a pre-defined category such as brushing hair or climbing stairs. Recent works focus on action recognition with deep neural networks that achieve state-of-the-art results in need of high-performance platforms. Despite the fast development of mobile computing, video action recognition on mobile devices has not been fully discussed. In this paper, we focus on the novel mobile video action recognition task, where only the computational capabilities of mobile devices are accessible. Instead of raw videos with huge storage, we choose to extract multiple modalities (including I-frames, motion vectors, and residuals) directly from compressed videos. By employing MobileNetV2 as backbone, we propose a novel Temporal Trilinear Pooling (TTP) module to fuse the multiple modalities for mobile video action recognition. In addition to motion vectors, we also provide a temporal fusion method to explicitly induce the temporal context. The efficiency test on a mobile device indicates that our model can perform mobile video action recognition at about 40FPS. The comparative results on two benchmarks show that our model outperforms existing action recognition methods in model size and time consuming, but with competitive accuracy.

研究动机与目标

• 为解决在存储和计算资源有限的移动设备上高效视频动作识别的空白。
• 实现使用压缩视频表示（而非原始视频帧或光流）进行动作识别。
• 设计一种轻量级、适用于移动设备的框架，有效融合多种压缩视频模态。
• 通过关键帧融合显式建模时间上下文，改进时间建模。
• 在保持具有竞争力准确率的同时，实现高推理速度（例如 40 FPS）和更小的模型尺寸。

提出的方法

• 直接从压缩视频（如 MPEG-4）中提取三种模态——RGB I-帧、运动矢量（MV）和残差（R），以减少存储和计算开销。
• 使用 MobileNetV2 作为主干网络，对所有模态进行高效特征提取。
• 提出时间三线性池化（TTP）模块，显式建模 I-帧、MV 和 R 之间的跨模态交互。
• 引入一种时间融合策略，通过组合连续的关键帧来增强时间表征学习。
• 采用三线性池化以捕捉模态之间的高阶交互，优于简单的分数平均或晚期融合。
• 通过最小化参数量（17.5M）和 GFLOPs（1.4），对模型进行移动部署优化，实现约 40 FPS 的推理速度。

实验结果

研究问题

• RQ1 是否可以有效利用压缩视频表示（I-帧、运动矢量、残差）进行移动视频动作识别，而无需原始视频或光流？
• RQ2 如何融合来自压缩视频的多模态特征，以在保持效率的同时提升识别准确率？
• RQ3 是否可以在轻量级框架中显式建模时间上下文，以增强移动设备上的动作识别性能？
• RQ4 三线性池化机制是否优于简单的集成或晚期融合策略，在多模态压缩视频识别中表现更优？
• RQ5 模型是否能在移动硬件上实现高推理速度（如 40 FPS）的同时保持具有竞争力的准确率？

主要发现

• 所提出的 TTP 模型在移动设备上实现了约 40 FPS 的推理速度，展现出优异的实时性能。
• 模型仅包含 17.5M 参数和 1.4 GFLOPs，显著优于当前最先进方法（如 CoViAR 的 83.6M 参数和 Two-Stream 的 46.6M 参数）。
• 在 HMDB-51 基准测试中，TTP 达到 58.2% 的 top-1 准确率，模型效率优于 CoViAR（59.1%），且存储节省接近 80%。
• 在 UCF101 基准测试中，TTP 达到 87.2% 的 top-1 准确率，与 CoViAR（90.4%）和 Two-Stream（88.0%）相比具有竞争力，但计算成本显著更低。
• TTP 模块通过捕捉更丰富的跨模态交互，优于三线性池化（TP）和晚期融合（I+MV+R）。
• 时间融合方法相比基础 TTP 提升了 1% 的性能，验证了显式时间建模的重要性。