[论文解读] AR-Net: Adaptive Frame Resolution for Efficient Action Recognition

Yue Meng, Chung-Ching Lin+6 more|arXiv (Cornell University)|Jul 31, 2020

Human Pose and Action Recognition参考文献 62被引用 10

一句话总结

AR-Net 提出了一种可微分的、自适应的帧分辨率机制，可动态地为每帧视频选择最优输入分辨率，从而在动作识别中提升效率与准确性。通过与识别模型联合训练的、使用 Gumbel-Softmax 正则化的策略网络，AR-Net 在 ActivityNet-v1.3 上将 FLOPS 最多降低 45%，同时在准确率上优于均匀分辨率基线方法。

ABSTRACT

Action recognition is an open and challenging problem in computer vision. While current state-of-the-art models offer excellent recognition results, their computational expense limits their impact for many real-world applications. In this paper, we propose a novel approach, called AR-Net (Adaptive Resolution Network), that selects on-the-fly the optimal resolution for each frame conditioned on the input for efficient action recognition in long untrimmed videos. Specifically, given a video frame, a policy network is used to decide what input resolution should be used for processing by the action recognition model, with the goal of improving both accuracy and efficiency. We efficiently train the policy network jointly with the recognition model using standard back-propagation. Extensive experiments on several challenging action recognition benchmark datasets well demonstrate the efficacy of our proposed approach over state-of-the-art methods. The project page can be found at https://mengyuest.github.io/AR-Net

研究动机与目标

• 为解决当前最先进动作识别模型在实际应用中计算成本过高的问题。
• 实现每帧分辨率的自适应调整，以减少计算量而不损失准确性。
• 通过反向传播联合训练分辨率选择策略，避免使用复杂的强化学习方法。
• 在不同视频输入下实现准确率与效率之间的灵活权衡。
• 在多个基准数据集和主干网络架构上展示方法的泛化能力。

提出的方法

• 轻量级策略网络根据帧内容预测每帧的最优分辨率（或跳过处理）。
• 通过 Gumbel-Softmax 从离散分布中采样策略，实现通过标准反向传播的可微训练。
• 训练目标结合了准确率损失、效率损失（GFLOPS）和均匀性正则化，以平衡性能与计算开销。
• 采用端到端训练策略，包含预热、联合训练和微调阶段。
• 该方法与模型无关，可应用于多种 2D/3D CNN 主干网络，包括 EfficientNet。
• 推理过程中实时做出分辨率决策，信息量高的帧以高分辨率处理，冗余或画质低的帧则下采样或跳过。

实验结果

研究问题

• RQ1 与均匀分辨率处理相比，自适应帧分辨率选择能否同时提升动作识别的准确率与效率？
• RQ2 如何通过标准反向传播实现离散分辨率选择策略的端到端训练？
• RQ3 联合优化准确率、效率和策略均匀性对模型性能有何影响？
• RQ4 所提方法能否在多样化的视频数据集和主干网络架构上实现泛化？
• RQ5 与仅使用分辨率选择相比，引入帧跳过机制如何提升效率与性能？

主要发现

• 在 ActivityNet-v1.3 数据集上，AR-Net 相较于最先进方法将 FLOPS 降低了 45%，同时将 mAP 从 73.3% 提升至 73.8%。
• 分辨率选择与帧跳过相结合可实现最佳的性能-效率权衡，优于仅使用其中一种操作的策略。
• 使用完整损失函数（准确率、效率和均匀性）训练后，GFLOPS/V 降低至 33.47，显著低于基线均匀方法的 60.06 GFLOPS/V。
• 即使在计算成本更低的情况下，该模型仍比均匀分辨率基线方法具有更高的准确率，表明自适应分辨率能同时提升效率与性能。
• 定性结果表明，AR-Net 能够正确识别并保留高信息量帧（如关键动作时刻），同时对无关或模糊的帧进行下采样或跳过。
• 该方法在多个数据集（包括 ActivityNet-v1.3、FCVID 和 Mini-Kinetics）上均表现有效，一致提升了准确率与效率。