[논문 리뷰] Two-Stream Transformer Architecture for Long Video Understanding

Edward B. Fish, Jon Weinbren외 1명|arXiv (Cornell University)|2022. 08. 02.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 사전 훈련된 CNN에서 추출한 공간적 이미지 특징과 시간적 맥락 특징을 결합하는 두 개의 스트림을 가진 트랜스포머 아키텍처인 STAN을 제안한다. 이를 통해 단일 GPU에서 효율적이고 데이터 및 메모리 효율적인 장시간 영상 이해가 가능해지며, 두 개의 스트림 트랜스포머 아키텍처에 컨볼루션 인덕티브 바이어스를 활용함으로써 STAN은 단일 GPU에서 최대 2분 분량의 영상 분류를 수행하고 장시간 영상 작업에서 최고 성능(SOTA)을 달성한다.

ABSTRACT

Pure vision transformer architectures are highly effective for short video classification and action recognition tasks. However, due to the quadratic complexity of self attention and lack of inductive bias, transformers are resource intensive and suffer from data inefficiencies. Long form video understanding tasks amplify data and memory efficiency problems in transformers making current approaches unfeasible to implement on data or memory restricted domains. This paper introduces an efficient Spatio-Temporal Attention Network (STAN) which uses a two-stream transformer architecture to model dependencies between static image features and temporal contextual features. Our proposed approach can classify videos up to two minutes in length on a single GPU, is data efficient, and achieves SOTA performance on several long video understanding tasks.

연구 동기 및 목표

• 순수한 비전 트랜스포머가 장시간 영상 이해(LVU) 작업에서 데이터 및 메모리 효율성이 떨어지는 문제를 해결한다.
• 장시간 영상에 대해 표준 트랜스포머의 자기주의(self-attention)의 제곱형 복잡도와 인덕티브 바이어스 부족 문제를 해결한다.
• 컨볼루션 신경망(CNN)에서 유도된 인덕티브 바이어스를 트랜스포머 아키텍처에 통합하여 데이터 효율성을 향상시킨다.
• 자원 제약이 있는 하드웨어(예: 단일 GPU)에서 장시간 영상 분류 모델의 엔드 투 엔드 훈련 및 추론을 가능하게 한다.
• 계산 가능성을 유지하면서 장시간 영상 이해 벤치마크에서 최고 성능(SOTA)을 달성한다.

제안 방법

• 두 개의 스트림 아키텍처를 사용한다: 하나의 스트림은 사전 훈련된 2D CNN를 통해 개별 프레임의 공간적 이미지 특징을 처리하고, 다른 하나는 1D 시간적 인코더를 통해 시간적 맥락 특징을 처리한다.
• 두 스트림에서 고정 크기의 토큰을 추출한다: 이미지 수준의 특징에서 유도된 공간적 토큰과 순차적 프레임 표현에서 유도된 시간적 토큰.
• 공유된 트랜스포머 인코더에 공간적 및 시간적 토큰을 통합하여 장거리 의존성을 모델링하고, 학습 가능한 분류 토큰을 포함한다.
• 트랜스포머 입력에서 공간적 및 시간적 순서 정보를 유지하기 위해 위치 임베딩을 적용한다.
• 표준 최적화 및 데이터 증강 기법을 사용하여 비디오 분류를 위한 교차 엔트로피 손실로 전체 네트워크를 엔드 투 엔드로 훈련한다.
• 지식 정복과 추론 분석을 통해 두 개의 스트림 아키텍처와 특징 융합 전략의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 CNN 기반 특징 추출을 통한 두 개의 스트림 트랜스포머 아키텍처가 장시간 영상 이해에서 데이터 및 메모리 효율성을 향상시킬 수 있는가?
• RQ2 CNN에서 유도된 인덕티브 바이어스를 비전 트랜스포머에 통합할 경우 장시간 영상 작업에서 성능과 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 단일 GPU만을 사용하여 얼마나 오랜 영상(최대 2분)을 분류할 수 있는가?
• RQ4 융합 이전에 공간적 및 시간적 특징을 별도로 모델링하는 것이 장시간 영상 분류에서 3D 토큰화를 통한 공동 처리보다 더 높은 성능을 내는가?
• RQ5 장시간 영상 벤치마크에서 제안된 방법은 정확도, 데이터 효율성, 계산 복잡도 측면에서 최고 성능(SOTA) 기법과 비교해 어떻게 성능을 내는가?

주요 결과

• STAN은 MMX-Trailer-20 데이터셋에서 최고 성능(SOTA)을 달성했으며, 가중 F1 스코어는 0.65, mAP는 0.64로, ResNet, I3D, SqueezeNet를 포함한 모든 베이스라인을 능가했다.
• 스릴러 장르에서 STAN은 다음으로 좋은 방법보다 정확도를 +58% 향상시켜 장기적인 시간적 추론 능력이 뛰어나다는 것을 입증했다.
• STAN-Large를 사용하여 전체 데이터셋(6047개 샘플)에서 mAP 0.7506을 기록했으며, 이는 정제된 모델(0.6005 mAP)과 추론 변형 모델보다 뚜렷이 높은 성능을 보였다.
• 단지 2000개의 훈련 샘플만으로도 STAN-Small는 mAP 0.6401을 달성하여 저자료 환경에서도 강력한 데이터 효율성과 일반화 능력을 보였다.
• 클래스 활성화 맵은 모델이 의미 있는 공간적 및 시간적 주의를 학습하고 있으며, 가족 영상에서 얼굴이나 공포 영화 클립에서 표정이 뚜렷한 얼굴 같은 관련 시각적 단서에 집중하고 있음을 확인했다.
• 추론 분석 결과, 역전파가 적용된 시간 스트림이 가장 높은 mAP(0.6221)를 기록했으며, 이는 시간 모델링이 성능에 매우 중요하다는 것을 시사한다. 반면, 역전파 없이 작동하는 공간 스트림은 성능이 매우 열악했고(0.4024 mAP) 이는 공동 최적화의 중요성을 강조한다.