[논문 리뷰] Maximizing Spatio-Temporal Entropy of Deep 3D CNNs for Efficient Video Recognition

Junyan Wang, Zhenhong Sun외 6명|arXiv (Cornell University)|2023. 03. 05.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 최대 엔트로피 원리에 기반한 공간-시간 엔트로피 점수(STEntr-Score)를 도입하여 분석적으로 모델 표현력을 측정함으로써, 훈련이 없는 3D CNN을 위한 효율적인 신경망 아키텍처 탐색 방법을 제안한다. 계산 예산 내에서 유전적 알고리즘을 통해 STEntr-Score를 최대화함으로써, 이전 연구에서 TPU를 사용해 수일이 소요되던 수십 시간에 걸친 탐색 시간을 약 3시간 이내로 단축한 E3D 계열 모델을 설계하였다. 이는 기존의 최고 성능(SOTA)을 달성하면서도 훨씬 낮은 탐색 비용을 실현하였다.

ABSTRACT

3D convolution neural networks (CNNs) have been the prevailing option for video recognition. To capture the temporal information, 3D convolutions are computed along the sequences, leading to cubically growing and expensive computations. To reduce the computational cost, previous methods resort to manually designed 3D/2D CNN structures with approximations or automatic search, which sacrifice the modeling ability or make training time-consuming. In this work, we propose to automatically design efficient 3D CNN architectures via a novel training-free neural architecture search approach tailored for 3D CNNs considering the model complexity. To measure the expressiveness of 3D CNNs efficiently, we formulate a 3D CNN as an information system and derive an analytic entropy score, based on the Maximum Entropy Principle. Specifically, we propose a spatio-temporal entropy score (STEntr-Score) with a refinement factor to handle the discrepancy of visual information in spatial and temporal dimensions, through dynamically leveraging the correlation between the feature map size and kernel size depth-wisely. Highly efficient and expressive 3D CNN architectures, \ie entropy-based 3D CNNs (E3D family), can then be efficiently searched by maximizing the STEntr-Score under a given computational budget, via an evolutionary algorithm without training the network parameters. Extensive experiments on Something-Something V1\&V2 and Kinetics400 demonstrate that the E3D family achieves state-of-the-art performance with higher computational efficiency. Code is available at https://github.com/alibaba/lightweight-neural-architecture-search.

연구 동기 및 목표

• 영상 인식 분야에서 3D CNN을 위한 훈련 기반 신경망 아키텍처 탐색(NAS)의 높은 계산 비용과 소요 시간 문제를 해결하기 위해.
• 탐색 과정에서 네트워크 파라미터를 훈련하지 않고도 효율적이고 표현력 있는 3D CNN 아키텍처를 설계하기 위해.
• 영상 데이터의 공간-시간 불일치를 고려하여 특성 맵 크기와 커널 크기 간의 상관관계를 기반으로 동적으로 엔트로피 추정을 조정함으로써 모델링하기 위해.
• 전방 추론이 아닌 분석적 엔트로피 공식을 사용하여 저전력, 빠른 아키텍처 탐색을 가능하게 하기 위해.
• 최소한의 FLOPs와 파라미터로 영상 인식 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 3D CNN을 정보 시스템으로 간주하고, 최대 엔트로피 원리를 활용해 미분 엔트로피에 대한 분석적 상한을 유도한다.
• 특성 맵 크기와 커널 크기 간의 상관관계를 공간 및 시간 차원에서 동적으로 모델링하는 공간-시간 엔트로피 점수(STEntr-Score)를 제안한다.
• 영상 데이터의 공간 및 시간 영역 간 정보 내용의 다름을 처리하기 위해 공간-시간 정밀화 메커니즘을 도입한다.
• 주어진 FLOPs 또는 파라미터 예산 내에서 STEntr-Score를 최대화함으로써 최적의 3D CNN 아키텍처를 탐색하기 위해 유전적 알고리즘을 사용한다.
• 훈련 기반 정확도 평가를 분석적 STEntr-Score 계산으로 대체하여, GPU/TPU 가속 없이도 CPU에서 탐색이 가능하도록 한다.
• 표준 설정을 사용해 최종 모델을 Something-Something V1/V2 및 Kinetics400에서 훈련함으로써 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 분석적, 훈련이 없는 메트릭이 영상 인식을 위한 3D CNN 아키텍처의 표현력을 정확히 예측할 수 있는가?
• RQ2 시각 정보의 공간-시간 분포는 효율적인 3D CNN 설계에 어떻게 영향을 미치는가?
• RQ3 통합된 엔트로피 기반 점수는 3D 컨벌루션의 공간 및 시간 모델링 능력을 효과적으로 포괄할 수 있는가?
• RQ4 STEntr-Score를 최대화하는 것이 동일한 계산 예산 내에서 기존의 NAS나 수작업 설계된 아키텍처보다 더 나은 성능을 내는가?
• RQ5 제안된 방법은 훨씬 낮은 탐색 시간과 하드웨어 요구 조건으로도 최고 성능을 달성할 수 있는가?

주요 결과

• 샘플드 모델들에서 0.2–5 GFLOPs 범위에서 STEntr-Score는 Top-1 정확도와 더 강한 정적 상관관계를 보이며, HomoEntr-Score, FLOPs, 파라미터 수보다도 뛰어난 예측 성능을 나타낸다.
• E3D 계열은 단지 4.7 GFLOPs의 FLOPs로 Something-Something V1에서 49.4%의 Top-1 정확도를 달성하여 유사한 FLOP 제약 조건에서 MoViNet-A1을 능가한다.
• 이 방법은 데스크톱 CPU에서 단지 3시간의 탐색 시간(0.195kWh 소비)으로 아키텍처 탐색을 수행할 수 있었으며, 이는 MoViNet의 64개 TPU에서 24시간(691.2kWh 소비)이 소요되던 것과 대비된다.
• 분석적 STEntr-Score 계산은 전방 추론보다 안정적이고 빠르며, 채널 수에 관계없이 일정한 속도를 유지한다. 반면 전방 추론 시간은 채널 수 증가에 따라 선형적으로 저하된다.
• E3D 모델들은 더 높은 계산 효율성으로 Something-Something V1/V2 및 Kinetics400에서 최고 성능을 달성하였으며, 트랜스포머 기반 및 이전의 CNN 기반 모델들보다 뛰어난 성능을 보였다.
• 공간-시간 집합 깊이에 따라 동적 커널 및 특성 맵 상관관계를 모델링함으로써 아키텍처 탐색의 효과성이 향상됨을 입증하였다.