[论文解读] 2D or not 2D? Adaptive 3D Convolution Selection for Efficient Video Recognition

Hengduo Li, Zuxuan Wu+2 more|arXiv (Cornell University)|Dec 29, 2020

Human Pose and Action Recognition参考文献 46被引用 5

一句话总结

Ada3D 提出了一种条件计算框架，通过学习实例特定的策略，在推理过程中动态选择帧和3D卷积层，从而在保持视频识别基准上最先进准确率的同时，将计算成本降低20%–50%。它使用一个轻量级的双头强化学习选择网络，根据每个输入片段决定激活哪些帧和3D卷积，实现高效、自适应的推理，且不损失性能。

ABSTRACT

3D convolutional networks are prevalent for video recognition. While achieving excellent recognition performance on standard benchmarks, they operate on a sequence of frames with 3D convolutions and thus are computationally demanding. Exploiting large variations among different videos, we introduce Ada3D, a conditional computation framework that learns instance-specific 3D usage policies to determine frames and convolution layers to be used in a 3D network. These policies are derived with a two-head lightweight selection network conditioned on each input video clip. Then, only frames and convolutions that are selected by the selection network are used in the 3D model to generate predictions. The selection network is optimized with policy gradient methods to maximize a reward that encourages making correct predictions with limited computation. We conduct experiments on three video recognition benchmarks and demonstrate that our method achieves similar accuracies to state-of-the-art 3D models while requiring 20%-50% less computation across different datasets. We also show that learned policies are transferable and Ada3D is compatible to different backbones and modern clip selection approaches. Our qualitative analysis indicates that our method allocates fewer 3D convolutions and frames for "static" inputs, yet uses more for motion-intensive clips.

研究动机与目标

• 为减少3D卷积神经网络在视频识别中高昂的计算成本，这些网络通常对所有帧和层进行统一处理，尽管视频复杂度各不相同。
• 解决固定3D推理的低效问题，实现基于输入的动态、自适应帧和3D卷积层选择。
• 开发一个轻量级、端到端可训练的框架，学习每个视频片段应何时以及使用多少计算资源，从而在不牺牲准确率的前提下提升效率。
• 证明所学的选择策略在不同数据集之间具有泛化能力，并与多种3D主干网络和片段选择方法兼容。

提出的方法

• 通过策略梯度方法训练一个轻量级双头选择网络，为每个输入视频片段生成帧使用和3D卷积使用策略。
• 选择网络根据输入片段的内容生成二元决策（保留/丢弃），实现预训练3D模型中的动态推理。
• 奖励函数设计为在最大化分类准确率的同时最小化计算成本，以鼓励高效资源分配。
• 选择网络首先使用固定3D模型进行预训练，然后与3D主干网络联合微调，以更好地适应自适应推理范式。
• 该框架支持策略在不同数据集之间的迁移能力，例如从Mini-Kinetics-200迁移到Kinetics。
• 该方法与多种3D主干网络兼容，并可与现有的片段级选择策略互补。

实验结果

研究问题

• RQ1 自适应选择帧和3D卷积层是否能在不降低准确率的前提下减少视频识别中的计算成本？
• RQ2 基于强化学习的策略梯度框架在学习实例特定的3D推理策略方面有多高效？
• RQ3 所学的选择策略是否能在不同视频数据集和3D模型架构之间泛化？
• RQ4 帧使用和3D卷积使用策略在性能和效率上的联合贡献程度如何？
• RQ5 所提出的方法是否与现有的片段选择方法及轻量级3D主干网络方法兼容？

主要发现

• Ada3D 在三个基准测试（ActivityNet、FCVID 和 Mini-Kinetics-200）上实现了20%至50%的计算量减少，同时保持了与最先进3D模型相当的准确率。
• 在使用Slowonly主干网络的FCVID数据集上，Ada3D将计算量从58.6 GFLOPs降低至35.6 GFLOPs（节省38.6%），仅导致0.3%的mAP下降。
• 在ActivityNet上，Ada3D将计算量从58.6 GFLOPs降低至42.2 GFLOPs（节省28%），同时保持76.1%的mAP。
• 选择网络与3D模型的联合微调显著提升了性能，在FCVID上mAP从75.9提升至77.8，表明其对适应性的关键作用。
• 双头架构同时学习帧和3D卷积使用策略，相比单一组件策略，mAP提升1%，证明了协同学习的有效性。
• 定性分析表明，Ada3D会为运动密集型片段（如街舞、太极）分配更多计算资源，而为静态片段（如书籍装订、球场场景）分配更少资源，符合直观的效率预期。