[논문 리뷰] Video Mobile-Former: Video Recognition with Efficient Global Spatial-temporal Modeling

Rui Wang, Zuxuan Wu외 7명|arXiv (Cornell University)|2022. 08. 25.

Advanced Neural Network Applications인용 수 4

한 줄 요약

Video Mobile-Former는 3D-CNN 기반 백본을 통해 국소적 특징 추출을 수행하고, Transformer 인코더 내에서 오직 6개의 학습 가능한 전역 토큰을 사용하여 전역적 시공간 모델링을 수행함으로써 경량화된 비디오 인식 모델을 제안한다. 이러한 전역 토큰과 국소적 특징 간의 교차 attention을 활용함으로써 1G FLOPs 미만의 계산 비용으로도 최신 기술 수준의 성능을 달성하였으며, 이는 저성능 컴퓨팅 환경에서 기존의 효율적인 CNN 및 더 큰 비디오 Transformer보다 뛰어난 성능을 발휘한다.

ABSTRACT

Transformer-based models have achieved top performance on major video recognition benchmarks. Benefiting from the self-attention mechanism, these models show stronger ability of modeling long-range dependencies compared to CNN-based models. However, significant computation overheads, resulted from the quadratic complexity of self-attention on top of a tremendous number of tokens, limit the use of existing video transformers in applications with limited resources like mobile devices. In this paper, we extend Mobile-Former to Video Mobile-Former, which decouples the video architecture into a lightweight 3D-CNNs for local context modeling and a Transformer modules for global interaction modeling in a parallel fashion. To avoid significant computational cost incurred by computing self-attention between the large number of local patches in videos, we propose to use very few global tokens (e.g., 6) for a whole video in Transformers to exchange information with 3D-CNNs with a cross-attention mechanism. Through efficient global spatial-temporal modeling, Video Mobile-Former significantly improves the video recognition performance of alternative lightweight baselines, and outperforms other efficient CNN-based models at the low FLOP regime from 500M to 6G total FLOPs on various video recognition tasks. It is worth noting that Video Mobile-Former is the first Transformer-based video model which constrains the computational budget within 1G FLOPs.

연구 동기 및 목표

• 모바일 기기와 같은 계산 자원이 제한된 환경에서도 높은 정확도를 유지하면서 작동할 수 있는 비디오 인식 모델을 설계하는 것.
• 기본적인 비디오 Transformer의 이차적 계산 복잡도 문제를 해결하기 위해 자기주의성 메커니즘이 처리하는 토큰 수를 극적으로 줄이는 것.
• 3D-CNN(국소적 인도티브 바이어스)와 Transformer(전역 장거리 모델링)의 장점을 융합한 경량화되고 효율적인 아키텍처를 설계하는 것.
• CPU 및 모바일 하드웨어에서 실시간 추론이 가능하도록 FLOPs와 지연 시간을 최소화하는 것.

제안 방법

• 모델은 이중 브랜치 아키텍처를 사용한다: 국소적 맥락 모델링을 위한 경량 3D depthwise 및 pointwise 컨볼루션 기반의 Mobile 브랜치.
• Former 브랜치는 오직 6개의 학습 가능한 전역 토큰에 대해 다중 헤드 자기주의성을 적용하여 전체 비디오의 전역 시공간 의존성을 모델링한다.
• 전역 토큰과 국소적 3D-CNN 특징 간의 이중 방향 정보 교환을 가능하게 하기 위해 교차 attention 메커니즘을 사용한다.
• 시간적 다운샘플링은 컨볼루션 스템에서 큰 시간적 스트라이드를 적용하여 네트워크의 초기 단계에서 수행되어 시퀀스 길이와 계산 비용을 감소시킨다.
• Mobile 블록에 동적 ReLU 활성화 함수를 도입하여 프레임 수준의 특징을 사용해 채널별 파라미터를 생성함으로써 표현 능력을 향상시켰다.
• 모델은 FLOPs가 500M에서 6G 사이의 저성능 범위에서도 높은 정확도를 유지하도록 설계되었으며, CPU 및 모바일 하드웨어에서의 추론 효율성에 중점을 두었다.

실험 결과

연구 질문

• RQ1 비디오 Transformer를 모바일 배포에 적합할 정도로 효율적으로 만들 수 있을까? 성능은 유지할 수 있을까?
• RQ2 자기주의성에 6개의 전역 토큰만 사용하는 것이 장거리 시공간 의존성을 효과적으로 모델링할 수 있을까?
• RQ3 3D-CNN과 최소한의 Transformer 모듈을 조합한 아키텍처는 최신 기술 수준의 경량 CNN 및 전체 비디오 Transformer와 비교해 정확도와 FLOPs 측면에서 어떻게 성능을 내는가?
• RQ4 경량 비디오 모델에서 시간적 다운샘플링의 최적의 위치와 설계는 어디인가?
• RQ5 제한된 파rameter를 가진 비디오 인식 모델에서 동적 활성화 함수가 성능 향상에 기여할 수 있을까?

주요 결과

• Video Mobile-Former는 1G FLOPs 이하의 계산 비용으로 Kinetics-400에서 67.4%의 top-1 정확도를 달성하였으며, 동일한 FLOP 범위 내 모든 다른 모델보다 뛰어난 성능을 보였다.
• V100 GPU에서 29.0ms, CPU에서는 603.5ms로 작동하여 유사한 비디오 Transformer보다 빠르며, 3D-CNN 기반 모델과 경쟁 가능한 성능을 보였다.
• 오직 6개의 전역 토큰만 사용하는 것이 더 많은 토큰을 사용하거나 프레임별로 자기주의성을 적용하는 것보다 더 높은 성능을 내어, 전역 토큰 설계의 효율성을 확인하였다.
• 제거 실험 결과, 3D depthwise 컨볼루션은 2D 또는 (2+1)D 컨볼루션보다 성능이 뛰어나며, FLOPs는 약간 증가하지만 전체적으로 유의미한 성능 향상을 보였다.
• 프레임 수준의 특징 조절을 통한 동적 ReLU는 기존 ReLU 대비 2.5%p, 원래 Mobile-Former 설계 대비 1.8%p의 top-1 정확도 향상을 보였다.
• 모델은 얕은 깊이에서도 강력한 성능을 유지하며, 네트워크가 얕아질수록 성능 향상이 더 크게 나타나, 경량 아키텍처에서의 높은 효율성을 보여주었다.