[논문 리뷰] MoViNets: Mobile Video Networks for Efficient Video Recognition

Dan Kondratyuk, Liangzhe Yuan외 5명|arXiv (Cornell University)|2021. 03. 21.

Human Pose and Action Recognition참고 문헌 85인용 수 17

한 줄 요약

MoViNets는 비디오 인식을 위한 효율적인 3D 컨volution 신경망의 가족을 소개하며, 상당히 감소된 FLOPs와 메모리 사용량으로도 최신 기준 성능을 달성한다. 신경망 아키텍처 탐색, 일정 메모리 사용을 위한 스트림 버퍼, 시간적 앙상블을 조합함으로써, MoViNet-A5-Stream은 X3D-XL의 정확도를 Kinetics 600에서 달성하면서도 FLOPs는 80% 감소시키고, 메모리는 65% 줄였다.

ABSTRACT

We present Mobile Video Networks (MoViNets), a family of computation and memory efficient video networks that can operate on streaming video for online inference. 3D convolutional neural networks (CNNs) are accurate at video recognition but require large computation and memory budgets and do not support online inference, making them difficult to work on mobile devices. We propose a three-step approach to improve computational efficiency while substantially reducing the peak memory usage of 3D CNNs. First, we design a video network search space and employ neural architecture search to generate efficient and diverse 3D CNN architectures. Second, we introduce the Stream Buffer technique that decouples memory from video clip duration, allowing 3D CNNs to embed arbitrary-length streaming video sequences for both training and inference with a small constant memory footprint. Third, we propose a simple ensembling technique to improve accuracy further without sacrificing efficiency. These three progressive techniques allow MoViNets to achieve state-of-the-art accuracy and efficiency on the Kinetics, Moments in Time, and Charades video action recognition datasets. For instance, MoViNet-A5-Stream achieves the same accuracy as X3D-XL on Kinetics 600 while requiring 80% fewer FLOPs and 65% less memory. Code will be made available at https://github.com/tensorflow/models/tree/master/official/vision.

연구 동기 및 목표

• 높은 계산 및 메모리 요구량으로 인해 정확한 3D CNN을 모바일 기기에서 배포하는 데 도전하는 문제를 해결한다.
• 고정된 긴 지속시간 입력 요구 조건으로 인해 3D CNN이 온라인 인퍼런스를 지원하지 못하는 한계를 극복한다.
• 모바일 비디오 인식에서 효율적이지만 정확도가 낮은 2D CNN과 정확도는 높지만 자원을 많이 소비하는 3D CNN 사이의 격차를 메운다.
• 긴 범위의 시간적 의존성을 유지하면서 최소한의 메모리 프로필로 스트리밍 비디오 처리를 가능하게 한다.
• 간단한 앙상블 기법을 통해 계산 또는 메모리 효율성을 희생시키지 않고도 효율적 모델의 정확도를 향상시킨다.

제안 방법

• 공간적, 시간적, 공간시간적 연산 간 최적의 트레이드오프를 달성하기 위해 전용 MoViNet 탐색 공간을 설계하여 신경망 아키텍처 탐색(NAS)을 가능하게 한다.
• 하위클립 경계에서 특징을 캐시함으로써 메모리 사용량을 영상 클립 지속시간과 분리함으로써, 추론 및 훈련 중 일정한 메모리 사용량을 가능하게 하는 스트림 버퍼 기법을 도입한다.
• 과거 프레임만이 예측에 영향을 주도록 보장하기 위해 스트림 버퍼 내에서 인과적 마스크 처리된 시간적 연산(예: 인과적 컨볼루션, 누적 풀링)을 구현함으로써 진정한 온라인 인퍼런스를 가능하게 한다.
• 인과 설정에서 시간적 맥락 인식을 유지하기 위해 시간적 연산에 위치 인코딩을 적용한다.
• 독립적으로 훈련된 스트리밍 MoViNets의 시간적 앙성스를 통해 인과 제약으로 인한 정확도 손실을 복구하며, FLOPs나 메모리 사용량을 증가시키지 않는다.
• 일관된 일반화 및 효율성 검증을 위해 Kinetics 400, Kinetics 600, Moments in Time, Charades, Something-Something V2 등의 다양한 벤치마크에서 MoViNets를 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색이 비디오 인식을 위한 정확도와 계산 비용 간 균형을 고려한 효율적인 3D CNN 아키텍처를 효과적으로 발견할 수 있는가?
• RQ2 스트림 버퍼 메커니즘이 긴 지속시간의 비디오 스트림을 일정한 메모리 사용량으로 처리하면서도 장거리 시간적 의존성을 유지할 수 있는가?
• RQ3 스트림 버퍼 내에서 인과적 연산을 사용할 경우 심각한 정확도 저하가 발생하는가, 그리고 자원 사용량을 증가시키지 않고 이를 보완할 수 있는가?
• RQ4 스트리밍 MoViNets의 시간적 앙성스를 통해 인과 모델링으로 인한 정확도 손실을 복구할 수 있는가, 동일한 효율 프로필을 유지할 수 있는가?
• RQ5 다양한 비디오 인식 벤치마크에서 MoViNets가 기존의 2D 및 3D 비디오 모델 대비 정확도, FLOPs, 메모리 사용량 측면에서 얼마나 뛰어난 성능을 보일 수 있는가?

주요 결과

• MoViNet-A6는 Kinetics 600에서 83.5%의 top-1 정확도를 달성하며, X3D-XL보다 1.6% 높고, FLOPs는 60% 적게 소모한다.
• MoViNet-A5-Stream은 Kinetics 600에서 X3D-XL과 동일한 정확도를 달성하지만, FLOPs는 80% 감소시키고, 메모리는 65% 줄였다.
• 스트림 버퍼 덕분에 MoViNet-A5의 메모리 사용량이 표준 3D CNN 대비 90% 감소하여 일정한 메모리 프로필로 온라인 인퍼런스를 가능하게 하였다.
• 인과 모델링으로 인한 1%의 정확도 저하는 시간적 앙성스를 통해 성공적으로 복구되었으며, 동일한 FLOP 및 메모리 예산에서 단일 모델보다 높은 정확도를 달성하였다.
• MoViNet-A2는 동일한 FLOP 수준에서 MobileNetV3-large+TSM보다 6% 높은 정확도를 보이며, 뛰어난 효율-정확도 트레이드오프를 입증하였다.
• 제안된 방법들은 MoViNets가 모바일 기기에서 스트리밍 비디오 인퍼런스를 지원할 수 있도록 하여, 모바일, IoT, 자율주행 시스템 등의 실시간 응용 분야에 적합하게 하였다.