[論文レビュー] Maximizing Spatio-Temporal Entropy of Deep 3D CNNs for Efficient Video Recognition

Junyan Wang, Zhenhong Sun+6 more|arXiv (Cornell University)|Mar 5, 2023

Human Pose and Action Recognition被引用数 6

ひとこと要約

本論文では、最大エントロピー原理に基づく空間時間的エントロピー指数（STEntr-Score）を導入することで、訓練を伴わない3次元畳み込みニューラルネットワーク（3D CNN）のアーキテクチャ探索手法を提案する。STEntr-Scoreを計算コストの制約下で最適化することで、E3Dファミリーのモデルを設計し、従来のTPUを用いた研究と比較して数時間未塔のCPU上での探索時間（3時間未塔）で、顕著に低い探索コストで最先端の性能を達成した。

ABSTRACT

3D convolution neural networks (CNNs) have been the prevailing option for video recognition. To capture the temporal information, 3D convolutions are computed along the sequences, leading to cubically growing and expensive computations. To reduce the computational cost, previous methods resort to manually designed 3D/2D CNN structures with approximations or automatic search, which sacrifice the modeling ability or make training time-consuming. In this work, we propose to automatically design efficient 3D CNN architectures via a novel training-free neural architecture search approach tailored for 3D CNNs considering the model complexity. To measure the expressiveness of 3D CNNs efficiently, we formulate a 3D CNN as an information system and derive an analytic entropy score, based on the Maximum Entropy Principle. Specifically, we propose a spatio-temporal entropy score (STEntr-Score) with a refinement factor to handle the discrepancy of visual information in spatial and temporal dimensions, through dynamically leveraging the correlation between the feature map size and kernel size depth-wisely. Highly efficient and expressive 3D CNN architectures, \ie entropy-based 3D CNNs (E3D family), can then be efficiently searched by maximizing the STEntr-Score under a given computational budget, via an evolutionary algorithm without training the network parameters. Extensive experiments on Something-Something V1\&V2 and Kinetics400 demonstrate that the E3D family achieves state-of-the-art performance with higher computational efficiency. Code is available at https://github.com/alibaba/lightweight-neural-architecture-search.

研究の動機と目的

• 3次元畳み込みニューラルネットワーク（3D CNN）の訓練ベースのアーキテクチャ探索（NAS）における高い計算コストと時間消費を解決すること。
• 探索段階でネットワークパラメータの学習を行わず、効率的で表現力のある3次元CNNアーキテクチャを設計すること。
• 特徴マップとカーネルサイズの相関に基づき、動的にエントロピー推定を調整することで、動画データにおける空間的・時間的差異をモデル化すること。
• 前方伝搬による評価ではなく、解析的エントロピー式を用いることで、高速で低消費電力のアーキテクチャ探索を可能にすること。
• 最小限のFLOPsとパラメータ数で、動画認識ベンチマークで最先端の性能を達成すること。

提案手法

• 3次元CNNを情報処理システムとして定式化し、最大エントロピー原理を用いて微分エントロピーの解析的上界を導出する。
• 空間的・時間的次元における特徴マップサイズとカーネルサイズの相関を動的にモデル化する空間時間的エントロピー指数（STEntr-Score）を提案する。
• 動画データにおける空間的・時間的ドメイン間の情報含量の差を扱うために、空間時間的リファイニング機構を導入する。
• 与えられたFLOPsまたはパラメータ制約下でSTEntr-Scoreを最大化するように、進化計算アルゴリズムを用いて最適な3次元CNNアーキテクチャを探索する。
• 訓練ベースの精度評価を解析的STEntr-Score計算に置き換え、GPU/TPUの加速なしにCPU上で探索を可能にする。
• 標準設定でSomething-Something V1/V2およびKinetics400で最終モデルを学習し、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 解析的で訓練を伴わない指標が、動画認識のための3次元CNNアーキテクチャの表現力を正確に予測できるか？
• RQ2 視覚情報の空間時間的分布が、効率的な3次元CNNの設計にどのように影響するか？
• RQ3 統一されたエントロピーに基づくスコアが、3次元畳み込みにおける空間的および時間的モデリング能力を効果的に捉えられるか？
• RQ4 STEntr-Scoreを最大化することで、同じ計算リソース制約下で、従来のNASや手動設計アーキテクチャよりも優れた性能が得られるか？
• RQ5 提案手法が、顕著に短い探索時間と低いハードウェア要件で最先端の結果を達成できるか？

主な発見

• サンプルモデルにおいて、STEntr-ScoreはTop-1精度との相関が、HomoEntr-Score、FLOPs、パラメータ数よりも強く、0.2–5 GFLOPsの範囲で顕著に良好であった。
• E3Dファミリーは、4.7 GFLOPsの計算量でSomething-Something V1で49.4%のTop-1精度を達成し、同等のFLOP制約下でMoViNet-A1を上回った。
• 本手法により、デスクトップCPU上でのアーキテクチャ探索がわずか3時間で実現され、消費電力は0.195 kWhにとどまった。一方、MoViNetの探索では64 TPUを用いて24時間、691.2 kWhの消費電力を要した。
• 解析的STEntr-Score計算は、前方伝搬よりも安定かつ高速であり、チャネル数にかかわらず一定の速度を示した。これに対して前方伝搬時間はチャネル数に比例して劣化した。
• E3Dモデルは、Something-Something V1/V2およびKinetics400で最先端の性能を達成し、Transformerベースや従来のCNNベースのモデルと比較して、より高い計算効率を示した。
• 本手法は、動的カーネルと特徴マップの相関を用いた空間時間的集約の深さに配慮したモデリングが、アーキテクチャ探索の有効性を高めることを示した。