[논문 리뷰] It Takes Two: Masked Appearance-Motion Modeling for Self-supervised Video Transformer Pre-training

Yuxin Song, Min Yang외 4명|arXiv (Cornell University)|2022. 10. 11.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 비디오 트랜스포머 내에서 분리된 디코더를 사용하여 외관과 운동 특징을 동시에 마스킹하고 예측하는 자기지도 학습 비디오 표현 학습 프레임워크인 MAM2를 제안한다. 외관에 대해서는 VQGAN 코드를, 운동에 대해서는 RGB-차이를 사용함으로써, VideoMAE보다 최대 50% 적은 사전 훈련 에포크 수로 Kinetics-400(82.3%), Something-Something V2(71.3%), UCF101(91.5%), HMDB51(62.5%)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Self-supervised video transformer pre-training has recently benefited from the mask-and-predict pipeline. They have demonstrated outstanding effectiveness on downstream video tasks and superior data efficiency on small datasets. However, temporal relation is not fully exploited by these methods. In this work, we explicitly investigate motion cues in videos as extra prediction target and propose our Masked Appearance-Motion Modeling (MAM2) framework. Specifically, we design an encoder-regressor-decoder pipeline for this task. The regressor separates feature encoding and pretext tasks completion, such that the feature extraction process is completed adequately by the encoder. In order to guide the encoder to fully excavate spatial-temporal features, two separate decoders are used for two pretext tasks of disentangled appearance and motion prediction. We explore various motion prediction targets and figure out RGB-difference is simple yet effective. As for appearance prediction, VQGAN codes are leveraged as prediction target. With our pre-training pipeline, convergence can be remarkably speed up, e.g., we only require half of epochs than state-of-the-art VideoMAE (400 v.s. 800) to achieve the competitive performance. Extensive experimental results prove that our method learns generalized video representations. Notably, our MAM2 with ViT-B achieves 82.3% on Kinects-400, 71.3% on Something-Something V2, 91.5% on UCF101, and 62.5% on HMDB51.

연구 동기 및 목표

• 기존의 마스킹된 비디오 모델링 방법에서 시간적 운동 신호의 활용이 제한된 문제를 해결하기 위해.
• 자기지도 학습 비디오 사전 훈련에서 수렴 속도와 표현 품질을 향상시키기 위해.
• 외관과 운동 예측 작업을 분리하여 보다 효과적인 시공간 특징 학습을 위해.
• 사전 훈련 에포크 수를 줄이면서도 다운스트림 성능을 유지하거나 향상시키기 위해.
• RGB-차이와 VQGAN 코드가 각각 외관 복원 목표로 효과적인지 탐색하기 위해.

제안 방법

• 세 단계의 인코더-재구성기-디코더 파이프라인을 설계하였으며, 재구성기는 특징 인코딩과 사전 작업 예측을 분리한다.
• 두 개의 별도 디코더를 사용한다: 하나는 VQGAN로 인코딩된 시각 토큰(외관)을 복원하기 위한 것이고, 다른 하나는 마스킹된 비디오 튜브에서 RGB-차이(운동)를 예측하기 위한 것이다.
• 재구성기는 가시 튜브 임베딩을 마스킹된 튜브의 표현을 예측할 수 있도록 투영함으로써, 공간-시간-무관 특징 학습을 가능하게 한다.
• RGB-차이가 운동 목표로 선택된 이유는 단순성과 운동 역학을 잘 포착하는 데 효과적이기 때문이다.
• ViT 기반 인코더를 사용하며, 마스킹된 비디오 패치 복원을 수행하고, SSv2, UCF101, HMDB51 데이터셋에서 사전 훈련한다.
• 고마스킹 비율로 사전 훈련을 수행하며, 외관 복원을 위한 VQGAN 코드를 실시간으로 생성하기 위해 토크나이저를 즉시 적용한다.

실험 결과

연구 질문

• RQ1 명시적인 운동 신호 모델링이 마스킹된 비디오 모델링 환경에서 자기지도 학습 비디오 표현 학습에 기여하는가?
• RQ2 외관과 운동 예측을 분리하면 수렴 속도가 빨라지고 다운스트림 성능이 향상되는가?
• RQ3 마스킹된 비디오 모델링 설정에서 어떤 운동 표현 방식(예: 광학 흐름, RGB-차이, 시간 순서)이 가장 효과적이고 효율적인가?
• RQ4 VQGAN 코드가 비디오 사전 훈련에서 외관 복원의 강력하고 의미 있는 목표로 기능할 수 있는가?
• RQ5 VideoMAE와 같은 최신 기술 방법에 비해 MAM2는 얼마나 많은 사전 훈련 에포크를 줄일 수 있으며, 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• MAM2는 Kinetics-400에서 82.3%의 상위-1 정확도를 달성하여, 800 에포크 대비 400 에포크로 훨씬 적은 사전 훈련 에포크 수로 VideoMAE보다 +1.0% 높은 성능을 기록한다.
• 시간적 동작이 많은 Something-Something V2 데이터셋에서 MAM2는 71.3%의 정확도를 기록하여, VideoMAE(70.6%)를 뛰어넘으며 사전 훈련 에포크 수를 절반으로 줄였다.
• UCF101과 HMDB51에서 MAM2는 각각 91.5%와 62.5%의 정확도를 기록하여, VideoMAE보다 각각 0.7%와 1.4% 높은 성능을 내며 사전 훈련 에포크 수를 2.7배와 3배 줄였다.
• ViT-L을 사용할 경우, MAM2는 800 에포크 사전 훈련 시 ST-MAE와 VideoMAE를 능가하며, 600 에포크로도 이들의 성능을 따라잡는다.
• 분리된 디코더와 재구성기의 사용은 더 빠른 수렴을 가능하게 하여, 광범위한 사전 훈련의 필요성을 줄였다.
• RGB-차이는 이 설정에서 더 복잡한 운동 표현 방식(예: 광학 흐름)보다 단순하면서도 효과적인 운동 예측 목표로 밝혀졌다.