[论文解读] Adaptive Focus for Efficient Video Recognition

Yulin Wang, Zhaoxi Chen+4 more|arXiv (Cornell University)|May 7, 2021

Human Pose and Action Recognition参考文献 59被引用 4

一句话总结

该论文提出AdaFocus，一种基于强化学习的高效视频识别方法，通过每帧自适应选择少量任务相关的图像块而非处理完整帧来实现。通过将计算聚焦于这些动态选择的图像块，并复用全局特征用于定位与识别，AdaFocus在保持或提升五大数据集准确率的同时，相比SOTA基线方法AR-Net将FLOPs降低了2–3倍。

ABSTRACT

In this paper, we explore the spatial redundancy in video recognition with the aim to improve the computational efficiency. It is observed that the most informative region in each frame of a video is usually a small image patch, which shifts smoothly across frames. Therefore, we model the patch localization problem as a sequential decision task, and propose a reinforcement learning based approach for efficient spatially adaptive video recognition (AdaFocus). In specific, a light-weighted ConvNet is first adopted to quickly process the full video sequence, whose features are used by a recurrent policy network to localize the most task-relevant regions. Then the selected patches are inferred by a high-capacity network for the final prediction. During offline inference, once the informative patch sequence has been generated, the bulk of computation can be done in parallel, and is efficient on modern GPU devices. In addition, we demonstrate that the proposed method can be easily extended by further considering the temporal redundancy, e.g., dynamically skipping less valuable frames. Extensive experiments on five benchmark datasets, i.e., ActivityNet, FCVID, Mini-Kinetics, Something-Something V1&V2, demonstrate that our method is significantly more efficient than the competitive baselines. Code is available at https://github.com/blackfeather-wang/AdaFocus.

研究动机与目标

• 解决视频识别模型计算成本过高的问题，该问题因功耗、延迟和碳排放限制而制约实际部署。
• 通过聚焦于仅对识别有显著贡献的小块区域，利用视频帧中的空间冗余性。
• 开发一种基于强化学习的自适应方法，为每帧动态定位相关空间区域，实现在不损失准确率的前提下高效推理。
• 将框架扩展至通过动态跳过信息量较少的帧，联合利用时间冗余性，进一步提升效率。
• 证明与SOTA模型（如TSM）的兼容性，实现效率提升而无需架构重构。

提出的方法

• 使用轻量级全局卷积神经网络从每帧视频中提取粗粒度、低成本的特征，作为策略学习的输入。
• 通过强化学习训练一个循环策略网络，基于任务相关性决定每帧中最佳的空间图像块（位置与尺寸）。
• 复用相同的全局特征用于图像块选择与最终识别，减少冗余与计算量。
• 仅在选定的图像块上应用高容量局部卷积神经网络，执行详细特征提取与分类。
• 在AdaFocus+中引入额外的策略网络，用于跳过被认为信息量较少的帧，实现空间与时间冗余性的联合利用。
• 在强化学习中使用自定义奖励函数，通过最大化预测置信度增益来引导策略选择最具判别性的区域。

实验结果

研究问题

• RQ1 能否有效利用视频帧中的空间冗余性，在不降低准确率的前提下减少视频识别的计算成本？
• RQ2 基于强化学习的自适应图像块选择方法是否优于固定或启发式图像块选择策略？
• RQ3 所提方法能否扩展至通过跳过信息量较少的帧来联合降低计算量？其对效率与准确率的影响如何？
• RQ4 复用全局特征用于定位与识别，对模型效率与性能有何影响？
• RQ5 AdaFocus在不修改架构的前提下，能在多大程度上提升现有SOTA模型（如TSM）的效率？

主要发现

• AdaFocus在ActivityNet、FCVID、Mini-Kinetics、Something-Something V1&V2上相比AR-Net将FLOPs降低2–3倍，同时保持或提升准确率。
• 在Something-Something V1上，AdaFocus实现了与TSM+相同的mAP，但GFLOPs减少1.5倍，展现出显著的效率优势。
• 在GPU（NVIDIA 2080Ti）上实现了显著的实际推理加速，推理速度接近理论FLOP降低比例，表明硬件效率高。
• 所学习的策略相比固定策略（如随机、中心、高斯）提升1.5–2% mAP，证明强化学习自适应方法的有效性。
• 复用全局特征用于定位与识别仅导致准确率下降1–1.5%，证实该方法的高效性与鲁棒性。
• AdaFocus+通过动态跳过帧进一步提升效率，表明与时间冗余性降低技术具有良好的兼容性。