[논문 리뷰] Self-supervised Video Representation Learning with Motion-Aware Masked Autoencoders

Haosen Yang, Huang Deng외 6명|arXiv (Cornell University)|2022. 10. 09.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

이 논문은 시간적 차이를 통해 인접 프레임 간의 운동 구조를 함께 재구성함으로써 마스크된 비디오 프레임 패치와 그에 해당하는 운동 구조를 동시에 재구성하는 자기지도 학습 비디오 표현 학습 방법인 MotionMAE를 제안한다. 정적 외관과 동적 운동을 모두 모델링함으로써 MotionMAE는 도메인 특화 사전학습 조건에서 Something-Something V2에서 1.2% 향상되고 UCF101에서 3.2% 향상되어 최신 기술을 초월하며, 비디오 객체 분할 과제에서 3% 이상의 성능 향상을 달성한다.

ABSTRACT

Masked autoencoders (MAEs) have emerged recently as art self-supervised spatiotemporal representation learners. Inheriting from the image counterparts, however, existing video MAEs still focus largely on static appearance learning whilst are limited in learning dynamic temporal information hence less effective for video downstream tasks. To resolve this drawback, in this work we present a motion-aware variant -- MotionMAE. Apart from learning to reconstruct individual masked patches of video frames, our model is designed to additionally predict the corresponding motion structure information over time. This motion information is available at the temporal difference of nearby frames. As a result, our model can extract effectively both static appearance and dynamic motion spontaneously, leading to superior spatiotemporal representation learning capability. Extensive experiments show that our MotionMAE outperforms significantly both supervised learning baseline and state-of-the-art MAE alternatives, under both domain-specific and domain-generic pretraining-then-finetuning settings. In particular, when using ViT-B as the backbone our MotionMAE surpasses the prior art model by a margin of 1.2% on Something-Something V2 and 3.2% on UCF101 in domain-specific pretraining setting. Encouragingly, it also surpasses the competing MAEs by a large margin of over 3% on the challenging video object segmentation task. The code is available at https://github.com/happy-hsy/MotionMAE.

연구 동기 및 목표

• 기존 마스크된 자동에코더가 정적 외관에 집중하고 시간적 역학을 충분히 활용하지 못하는 한계를 해결하기 위해.
• 스пат리오토르피칼 표현 학습을 향상시키기 위해 운동 구조를 추가 재구성 목표로 명시적으로 모델링하기 위해.
• 특히 운동에 민감한 과제, 예를 들어 행동 인식 및 비디오 객체 분할과 같은 후행 비디오 이해 과제에서 성능을 향상시키기 위해.
• 도메인 특화 및 도메인 일반화 사전학습 설정 모두에서 운동 인식 재구성의 효과를 검증하기 위해.

제안 방법

• MotionMAE는 비대칭 트랜스포머 기반 아키텍처를 사용하며, 인코더는 오직 가시 패치만 처리하고 디코더는 모든 패치, 마스크된 패치 포함하여 재구성한다.
• 모델은 마스크된 개별 프레임 패치(외관용)와 인접 프레임 간의 시간적 차이(운동 구조용)를 동시에 재구성하도록 훈련된다.
• 운동 구조는 연속된 두 프레임 간의 프레임 차이로 계산되며, 운동 역학의 자연스럽고 내재된 표현을 제공한다.
• 재구성 손실은 프레임 및 운동 목표를 모두 포함하며, 다중 작업 목표를 사용해 엔드 투 엔드로 훈련된다.
• 디코더는 공간적 및 시간적 정보를 효과적으로 재구성할 수 있도록 충분한 너비와 깊이를 갖추고 있으며, 아블레이션 스터디를 통해 최적의 용량을 도출한다.
• 표준 데이터 증강 및 마스킹 전략을 사용하며, 훈련 중 프레임당 90%의 패치가 마스킹된다.

실험 결과

연구 질문

• RQ1 프레임 외관과 운동 구조의 공동 재구성은 자기지도 학습 비디오 표현 학습을 향상시킬 수 있는가?
• RQ2 마스크된 자동에코더에서 단순히 프레임 재구성에 의존하는 것과 비교해 시간적 차이를 통해 운동을 모델링하는 것이 어떠한가?
• RQ3 운동 모델링의 포함이 후행 비디오 과제, 특히 운동에 민감한 과제에서 더 나은 일반화를 이끌어낼 수 있는가?
• RQ4 운동 인식 재구성에서 최적의 재구성 목표, 손실 함수 및 디코더 아키텍처는 무엇인가?

주요 결과

• 도메인 특화 사전학습 조건에서 Something-Something V2에서 MotionMAE는 75.5%의 Top-1 정확도를 달성하여 이전 기술보다 1.2% 향상되었다.
• UCF101에서 MotionMAE는 94.0%의 정확도를 기록하여 가장 강력한 경쟁 MAE 모델보다 3.2% 향상되었다.
• 도전적인 DAVIS2017 비디오 객체 분할 벤치마크에서 MotionMAE는 평균 교차율에서 경쟁 MAE 모델보다 3% 이상 뛰어났다.
• 아블레이션 스터디 결과, 프레임과 운동 재구성의 조합이 가장 높은 성능을 내며, 가장 세밀한 운동(인접 프레임 간 차이)이 가장 효과적임을 확인했다.
• MSE 손실 함수가 가장 우수한 성능를 보였으며, 디코더는 최적 성능 달성을 위해 충분한 너비(384)와 깊이(4)가 필요했다.
• 시각화 결과 MotionMAE가 새로운 샘플로 잘 일반화되며, 95% 마스킹 비율에서도 외관과 운동 모두 고품질의 재구성을 유지함을 확인했다.