[논문 리뷰] BEVT: BERT Pretraining of Video Transformers

Rui Wang, Dongdong Chen외 7명|arXiv (Cornell University)|2021. 12. 02.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

BEVT는 비디오 트랜스포머를 위한 분리형 BERT 스타일의 사전 훈련 프레임워크를 제안한다. 이는 먼저 ImageNet에서 마스킹된 이미지 모델링을 통해 공간 표현을 학습하고, 이후 비디오 데이터에서 마스킹된 비디오 모델링을 통해 공간 및 시간 동적 특성을 동시에 학습한다. 영상 스트림의 어텐션 가중치를 이미지 사전 훈련 모델에서 초기화하고 양 스트림을 공유 가중치로 공동으로 미세조정함으로써 BEVT는 최신 기술 수준(SOTA)의 성능을 달성하여, Something-Something-V2와 Diving-48에서 각각 71.4% 및 87.2%의 Top-1 정확도를 기록한다.

ABSTRACT

This paper studies the BERT pretraining of video transformers. It is a straightforward but worth-studying extension given the recent success from BERT pretraining of image transformers. We introduce BEVT which decouples video representation learning into spatial representation learning and temporal dynamics learning. In particular, BEVT first performs masked image modeling on image data, and then conducts masked image modeling jointly with masked video modeling on video data. This design is motivated by two observations: 1) transformers learned on image datasets provide decent spatial priors that can ease the learning of video transformers, which are often times computationally-intensive if trained from scratch; 2) discriminative clues, i.e., spatial and temporal information, needed to make correct predictions vary among different videos due to large intra-class and inter-class variations. We conduct extensive experiments on three challenging video benchmarks where BEVT achieves very promising results. On Kinetics 400, for which recognition mostly relies on discriminative spatial representations, BEVT achieves comparable results to strong supervised baselines. On Something-Something-V2 and Diving 48, which contain videos relying on temporal dynamics, BEVT outperforms by clear margins all alternative baselines and achieves state-of-the-art performance with a 71.4\% and 87.2\% Top-1 accuracy respectively. Code will be made available at \url{https://github.com/xyzforever/BEVT}.

연구 동기 및 목표

• 비디오 이해 분야로 NLP 및 이미지 트랜스포머에서의 BERT 사전 훈련 성공을 확장하여 비디오 트랜스포머에 BERT 스타일의 사전 훈련을 탐구한다.
• 영상 트랜스포머를 처음부터 훈련할 경우 높은 계산 비용과 낮은 일반화 능력 문제를 해결하기 위해 이미지 데이터에서 사전 훈련된 공간 사전 지식을 활용한다.
• 비디오 표현 학습을 공간 및 시간 성분으로 분리하여 공간 지식을 유지하면서 동시에 시간적 동적 의존성을 학습한다.
• 공유 가중치와 마스킹된 모델링 목표를 사용해 이미지 및 비디오 데이터를 공동으로 사전 훈련함으로써 영상 인식 벤치마크 성능을 향상시킨다.
• 명시적인 방식으로 이미지 사전 훈련에서 유도된 공간 사전 지식을 유지할 경우, 특히 시간적 동적 특성이 중요한 영상에서의 영상 인식 성능 향상이 가능함을 입증한다.

제안 방법

• BEVT는 공간 표현 학습을 위한 이미지 스트림과 시간 동적 특성 학습을 위한 비디오 스트림을 갖춘 이중 스트림 아키텍처를 사용한다.
• 이미지 스트림은 VQ-VAE로부터 유도된 잠재 코드를 사용해 마스킹된 이미지 모델링을 통해 ImageNet에서 비지도 방식으로 공간 사전 지식을 학습한다.
• 비디오 스트림은 이미지 스트림의 어텐션 가중치를 초기화하여 공간 지식을 전이하고 훈련 비용을 절감한다.
• 비디오 스트림은 잠재 코드를 사용해 3D 튜브(시공간 패치)에서 마스킹된 비디오 모델링을 수행하며, 대조적 목적 함수를 통해 마스킹된 튜브를 예측한다.
• 양 스트림은 공유 백본 가중치로 비디오 데이터에서 공동으로 훈련되어 공간 및 시간 모델링 간의 상호작용을 가능하게 한다.
• 마스킹된 모델링을 위해 이미지 및 비디오 패치를 이산 토큰으로 변환하기 위해 시각 토크나이저(예: DALL-E 또는 PeCo)를 사용한다.

실험 결과

연구 질문

• RQ1 영상 데이터의 동적 특성을 감안할 때 BERT 스타일의 사전 훈련이 비디오 트랜스포머로 효과적으로 확장될 수 있는가?
• RQ2 공간 및 시간 표현 학습을 분리함으로써 영상 이해 작업의 효율성과 성능 향상이 이루어지는가?
• RQ3 이미지 사전 훈련된 공간 사전 지식을 기반으로 비디오 트랜스포머를 초기화할 경우, 최종 영상 인식 정확도에 어떤 영향을 미치는가?
• RQ4 마스킹된 비디오 모델링에서 3D 비디오 튜브에 대한 최적의 마스킹 전략은 무엇인가?
• RQ5 시각 토크나이저 선택(예: DALL-E 대비 PeCo)이 최종 영상 인식 성능에 어떤 영향을 미치는가?

주요 결과

• BEVT는 Kinetics-400에서 81.1%의 Top-1 정확도를 기록하여 강력한 지도 학습 기반 모델(80.6%)을 초월한다.
• Something-Something-V2에서 BEVT는 71.4%의 Top-1 정확도를 달성하여 모든 이전 기준 모델을 능가하며 새로운 SOTA를 수립한다.
• Diving-48에서 BEVT는 87.2%의 Top-1 정확도를 기록하여 이전 방법들을 크게 뛰어넘으며 새로운 SOTA를 확립한다.
• 절단 분석 결과, ImageNet-1K에서 이미지 스트림을 사전 훈련하는 것이 핵심이며, 이미지 사전 훈련된 가중치로 초기화된 모델이 뛰어난 성능을 보였다.
• DALL-E 대비 PeCo 토크나이저를 사용할 경우 성능 향상이 있었으며, 이는 SSv2와 Diving48에서 각각 71.4% 및 87.2%의 정확도로 이어졌다.
• 시간 범위가 0.5T에서 T이고 마스킹 비율이 50%일 경우 최적의 성능을 기록했으며, 너무 짧거나 너무 긴 시간 마스킹 범위는 결과를 떨어뜨렸다.