[论文解读] Maximizing Spatio-Temporal Entropy of Deep 3D CNNs for Efficient Video Recognition

Junyan Wang, Zhenhong Sun+6 more|arXiv (Cornell University)|Mar 5, 2023

Human Pose and Action Recognition被引用 6

一句话总结

本文提出一种无需训练的神经架构搜索方法，用于高效3D CNN，通过基于最大熵原理的时空熵得分（STEntr-Score）分析性地衡量模型表达能力。通过在计算预算下利用进化算法最大化STEntr-Score，作者设计了E3D系列模型，在显著降低搜索成本（仅需在CPU上不到三小时）的前提下，实现了最先进的准确率，相较之前工作在TPU上需数天时间的搜索成本有显著提升。

ABSTRACT

3D convolution neural networks (CNNs) have been the prevailing option for video recognition. To capture the temporal information, 3D convolutions are computed along the sequences, leading to cubically growing and expensive computations. To reduce the computational cost, previous methods resort to manually designed 3D/2D CNN structures with approximations or automatic search, which sacrifice the modeling ability or make training time-consuming. In this work, we propose to automatically design efficient 3D CNN architectures via a novel training-free neural architecture search approach tailored for 3D CNNs considering the model complexity. To measure the expressiveness of 3D CNNs efficiently, we formulate a 3D CNN as an information system and derive an analytic entropy score, based on the Maximum Entropy Principle. Specifically, we propose a spatio-temporal entropy score (STEntr-Score) with a refinement factor to handle the discrepancy of visual information in spatial and temporal dimensions, through dynamically leveraging the correlation between the feature map size and kernel size depth-wisely. Highly efficient and expressive 3D CNN architectures, \ie entropy-based 3D CNNs (E3D family), can then be efficiently searched by maximizing the STEntr-Score under a given computational budget, via an evolutionary algorithm without training the network parameters. Extensive experiments on Something-Something V1\&V2 and Kinetics400 demonstrate that the E3D family achieves state-of-the-art performance with higher computational efficiency. Code is available at https://github.com/alibaba/lightweight-neural-architecture-search.

研究动机与目标

• 解决基于训练的神经架构搜索（NAS）在视频识别中3D CNN计算成本高、耗时长的问题。
• 在搜索过程中不训练网络参数，设计高效且具有表达力的3D CNN架构。
• 通过基于特征图与卷积核大小相关性的动态熵估计，对视频数据中的时空差异性进行建模。
• 通过分析性熵公式而非前向推理，实现在CPU上快速、低功耗的架构搜索。
• 在极低FLOPs和参数量下，实现在视频识别基准上的最先进性能。

提出的方法

• 将3D CNN建模为信息系统，并基于最大熵原理推导出微分熵的分析上界。
• 提出时空熵得分（STEntr-Score），动态建模空间和时间维度上特征图大小与卷积核大小之间的相关性。
• 引入时空优化机制，以处理视频数据中空间与时间域信息内容的差异性。
• 利用进化算法，在给定FLOPs或参数预算下，通过最大化STEntr-Score搜索最优3D CNN架构。
• 以分析性STEntr-Score计算替代基于训练的准确率评估，实现在无GPU/TPU加速的CPU上进行搜索。
• 通过在Something-Something V1/V2和Kinetics400上以标准设置训练最终模型，验证该方法。

实验结果

研究问题

• RQ1 分析性、无需训练的度量能否准确预测3D CNN架构在视频识别中的表达能力？
• RQ2 视觉信息在时空上的分布特性如何影响高效3D CNN的设计？
• RQ3 统一的基于熵的得分能否有效捕捉3D卷积中空间与时间建模能力？
• RQ4 在相同计算预算下，最大化STEntr-Score是否能带来优于现有NAS或人工设计架构的性能？
• RQ5 所提方法能否在显著降低搜索时间和硬件需求的前提下实现最先进结果？

主要发现

• 在0.2–5 GFLOPs范围内采样的模型中，STEntr-Score与Top-1准确率的相关性显著强于HomoEntr-Score、FLOPs或参数量。
• E3D系列在Something-Something V1上仅用4.7 GFLOPs即达到49.4%的Top-1准确率，优于在相似FLOP约束下的MoViNet-A1。
• 该方法仅需在台式机CPU上3小时即可完成架构搜索，耗电量仅0.195千瓦时，相较MoViNet在64个TPU上耗时24小时、耗电691.2千瓦时，效率显著提升。
• 分析性STEntr-Score计算稳定且速度快于前向推理，其运行时间与通道数无关，而前向推理时间随通道数线性下降。
• E3D模型在Something-Something V1/V2和Kinetics400上均实现了最先进性能，其计算效率高于基于Transformer和先前CNN基模型。
• 该方法表明，通过动态核与特征图相关性实现深度上的时空聚合建模，可有效提升架构搜索效率。