[논문 리뷰] VidTr: Video Transformer Without Convolutions

Yanyi Zhang, Xinyu Li외 7명|arXiv (Cornell University)|2021. 04. 23.

Human Pose and Action Recognition참고 문헌 61인용 수 4

한 줄 요약

VidTr는 3D 컨볼루션을 사용하지 않고 분리 가능한 어텐션을 도입하여 비디오 행동 인식에서 효율적이고 효과적인 시공간 모델링을 위한 비디오 트랜스포머를 제안한다. 공간 및 시간 어텐션을 분리하고, 표준편차 기반의 top-K 풀링을 도입함으로써 메모리 사용량을 3.3배 감소시키고, FLOPs를 최대 20배 줄였으며, 다섯 가지 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 장기적인 시간적 추론 작업에서 뛰어난 성능을 보인다.

ABSTRACT

We introduce Video Transformer (VidTr) with separable-attention for video classification. Comparing with commonly used 3D networks, VidTr is able to aggregate spatio-temporal information via stacked attentions and provide better performance with higher efficiency. We first introduce the vanilla video transformer and show that transformer module is able to perform spatio-temporal modeling from raw pixels, but with heavy memory usage. We then present VidTr which reduces the memory cost by 3.3$ imes$ while keeping the same performance. To further optimize the model, we propose the standard deviation based topK pooling for attention ($pool_{topK\_std}$), which reduces the computation by dropping non-informative features along temporal dimension. VidTr achieves state-of-the-art performance on five commonly used datasets with lower computational requirement, showing both the efficiency and effectiveness of our design. Finally, error analysis and visualization show that VidTr is especially good at predicting actions that require long-term temporal reasoning.

연구 동기 및 목표

• 3D 컨볼루션 네트워크가 비디오 행동 인식에서 겪는 한계, 즉 제한된 수신장과 느린 특징 집합 문제를 해결하기 위해.
• 컨볼루션 기반 백본 없이도 원시 비디오 픽셀에 대해 순수 트랜스포머 아키텍처를 사용해 엔드 투 엔드 시공간 모델링을 수행할 수 있는지 탐색하기 위해.
• 분리 가능한 어텐션과 동적 시퀀스 프루닝과 같은 아키텍처 혁신을 통해 순수 비디오 트랜스포머의 높은 메모리 및 계산 비용을 줄이기 위해.
• 장기적인 시간적 추론 작업에서 전역적 맥락이 핵심이 되는 경우, 특히 장기간의 시간적 이해가 필요한 행동에 대해 성능을 향상시키기 위해.

제안 방법

• 원시 비디오 픽셀을 직접 처리하는 순수 비디오 트랜스포머 아키텍처를 제안하며, 비전 트랜스포머(ViT) 원칙을 적용하여 자기어텐션(self-attention)이 엔드 투 엔드 비디오 분류에 잠재력을 지닌다는 것을 입증한다.
• 공간 및 시간 어텐션 헤드를 분리함으로써 분리 가능한 어텐션(separable-attention)을 도입하여, 표준 비디오 트랜스포머와 비교해 정확도에 손상 없이 메모리 소비를 3.3배 감소시킨다.
• 표준편차 기반의 top-K 풀링 메커니즘(pool_topK_std)을 설계하여, 저분산·중복적인 시간적 특징을 걸러내어 대표적인 프레임을 선택한다.
• 이중 단계 학습 전략을 적용: 먼저 Kinetics-400에서 사전학습한 후, 최종 데이터셋에서 미세조정함으로써 다양한 벤치마크 간 강력한 일반화 능력을 확보한다.
• 어텐션 롤아웃(attention rollout) 시각화를 통해 어텐션 패턴을 해석하였으며, 공간 어텐션은 행동 관련 영역에 집중하고, 시간 어텐션은 중복 프레임을 억제하는 것으로 확인되었다.
• I3D와의 모델 앙상블을 통해 전역적(트랜스포머) 및 국소적(컨볼루션) 모델링의 강점을 조합하여, Kinetics-400에서 정확도를 +2% 향상시켰다.

실험 결과

연구 질문

• RQ1 순수 트랜스포머 기반 아키텍처가 어떠한 컨볼루션 연산도 없이 비디오 행동 인식에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ2 순수 비디오 트랜스포머의 높은 메모리 및 FLOP 비용은 어떻게 줄일 수 있으며, 성능 유지는 유지할 수 있는가?
• RQ3 제안된 분리 가능한 어텐션 메커니즘이 공간 및 시간 모델링을 효과적으로 분리하여 효율성을 향상시키면서 정확도를 손상시키지 않는가?
• RQ4 표준편차 기반 top-K 풀링은 중복적인 시간적 프레임을 제거함으로써 효율성을 향상시키며, 모델 성능을 유지하거나 향상시키는가?
• RQ5 I3D와 같은 컨볼루션 기반 베이스라인에 비해, 장기적인 시간적 추론이 필요한 행동에 대해 VidTr 모델이 뛰어난 성능을 보이는가?

주요 결과

• VidTr-S는 Kinetics-400 및 Kinetics-700에서 최신 기술 수준 성능을 달성했으며, I3D101-NL 대비 5배 적은 FLOPs를 사용하고, Slowfast101-8×8 대비 12% 적은 FLOPs를 기록했다.
• 분리 가능한 어텐션을 통해 동일한 정확도를 유지하면서 메모리 사용량을 3.3배 감소시켰다.
• Charades에서 VidTr-L는 Slowfast101-NL와 유사한 성능를 기록했고, LFB 및 NUTA101을 능가하여 다중라벨 데이터셋에 대한 강력한 일반화 능력을 보였다.
• UCF-101 및 HMDB-51에서 VidTr는 단지 6 에포크의 훈련으로 UCF-101에서 96.6%의 top-1 정확도, HMDB-51에서 74.4%의 정확도를 달성하여 소규모 데이터셋에서도 강력한 일반화 능력을 보였다.
• 오류 분석 결과, '케이크 만들기' 대비 '케이크 먹기'와 같은 장기적 시계열 행동에서 VidTr는 I3D보다 뚜렷하게 뛰어난 성능을 보였으며, 이는 시간적 맥락이 핵심임을 확인시켰다.
• I3D50과 VidTr-L를 앙상블하면 Kinetics-700에서 0.6% 성능 향상을 기록하여, 전역적(트랜스포머) 및 국소적(컨볼루션) 모델링 간 상호보완적인 강점이 있음을 확인했다.