[논문 리뷰] SMAUG: Sparse Masked Autoencoder for Efficient Video-Language Pre-training

Yuanze Lin, Chen Wei외 3명|arXiv (Cornell University)|2022. 11. 21.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

SMAUG는 계산 비용을 줄이기 위해 시각적 토큰과 텍스트 토큰을 동시에 마스킹하고, 공간-시간 토큰 희소화를 적용함으로써 효율적인 비디오-언어 사전학습 프레임워크를 제안한다. 이는 여섯 개의 벤치마크에서 텍스트-비디오 검색 및 비디오 질의 응답 작업에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하며, 전처리 시간을 약 1.9배 빠르게 한다—전체적으로 약 50개의 NVIDIA A6000 GPU 시간 내에 완료된다.

ABSTRACT

Video-language pre-training is crucial for learning powerful multi-modal representation. However, it typically requires a massive amount of computation. In this paper, we develop SMAUG, an efficient pre-training framework for video-language models. The foundation component in SMAUG is masked autoencoders. Different from prior works which only mask textual inputs, our masking strategy considers both visual and textual modalities, providing a better cross-modal alignment and saving more pre-training costs. On top of that, we introduce a space-time token sparsification module, which leverages context information to further select only "important" spatial regions and temporal frames for pre-training. Coupling all these designs allows our method to enjoy both competitive performances on text-to-video retrieval and video question answering tasks, and much less pre-training costs by 1.9X or more. For example, our SMAUG only needs about 50 NVIDIA A6000 GPU hours for pre-training to attain competitive performances on these two video-language tasks across six popular benchmarks.

연구 동기 및 목표

• 현재 수주일 분량의 다수 GPU를 사용하는 비디오-언어 사전학습의 막대한 계산 비용을 줄이기 위해.
• 사전학습 중에 정보가 없는 공간 패치와 시간적으로 관련이 없는 프레임을 식별하고 제거하여 비디오 데이터의 부족함을 해결하기 위해.
• 마스킹된 오토인코더 프레임워크에서 시각적 및 텍스트 모odal을 동시에 마스킹하여 성능을 훼손하지 않으면서 효율성을 향상시키기 위해.
• 다운스트림 작업(예: 텍스트-비디오 검색 및 비디오 질의 응답)에서 강력한 전이 성능를 유지하면서도 확장 가능하고 비용 효율적인 사전학습을 가능하게 하기 위해.

제안 방법

• 시각적 및 텍스트 모달에 마스킹된 오토인코더(MAE)를 적용하여, 최대 75%의 패치와 프레임을 마스킹함으로써 사전학습 중 계산을 줄인다.
• 공간-시간 토큰 희소화 모듈을 도입하여 주의 히트맵을 활용해 각 프레임에서 가장 정보가 많은 공간 패치만 유지한다.
• 학습 가능한 Transformer 기반 선택기(Selector)를 구현하여 비디오 클립에서 핵심 프레임을 동적으로 선택함으로써 시간적 중복을 줄인다.
• 마스킹된 시각적 모델링(MVM)과 마스킹된 언어 모델링(MLM)을 사용해 모델을 훈련시키며, 마스킹된 시각적 패치와 텍스트 토큰을 재구성한다.
• 가벼운 디코더를 사용해 마스킹된 패치와 토큰을 재구성함으로써, 유일하게 시각적으로 두드러진 토큰들만을 대상으로 효율적인 훈련을 가능하게 한다.
• 공동 마스킹과 희소화를 결합하여 사전학습 시간을 단축시키면서도 다중 모odal 간의 정렬성과 표현 품질을 유지한다.

실험 결과

연구 질문

• RQ1 마스킹된 오토인코더 프레임워크에서 시각적 및 텍스트 모달을 동시에 마스킹하는 것이 성능을 유지하면서도 사전학습 비용을 크게 줄일 수 있는가?
• RQ2 비디오 데이터의 공간적 및 시간적 중복을 얼마나 제거할 수 있으며, 이로 인해 모델 성능이 떨어지지 않는가?
• RQ3 학습 가능한 프레임 선택기가 핵심 프레임을 식별하는 데 얼마나 효과적인가, 그리고 계산 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 희소화 전략이 여러 벤치마크에서 최신 기술 수준의 성능를 유지하면서도 사전학습 시간을 1.9배 빠르게 할 수 있는가?

주요 결과

• SMAUG는 사전학습 시간을 1.9배 단축시켜 여섯 개의 비디오-언어 벤치마크에서 경쟁력 있는 성능를 달성하며, 약 50개의 NVIDIA A6000 GPU 시간 내에 완료된다.
• 시각적 토큰 희소화에서 유지율(keeping rate)을 0.8로 설정하면, MSRVTT에서 R@1 성능이 0.5% 감소하면서도 사전학습 시간이 53.8시간에서 50.4시간으로 단축된다.
• 4개의 프레임 중 2개를 선택하는 방식(4→2)을 적용하면, 사전학습 시간이 82.5시간에서 77.8시간으로 줄어들며, R@1 성능은 0.5% 감소한다.
• 전체 SMAUG 파이프라인(MAE + VTS + FS)은 사전학습 시간을 144.5시간에서 77.8시간으로 단축시켜 1.9배의 속도 향상을 달성했으며, R@1 성능은 오직 1.4% 감소했다.
• 1700만 개의 비디오-텍스트 코퍼스에서 SMAUG는 Singularity 대비 R@1에서 2.5% 향상된 성능를 기록했고, GPU 시간을 87.1시간 절약하여 강력한 확장성을 입증했다.
• 정성적 결과 분석을 통해 프레임 선택기가 캡션과 정렬된 관련 프레임을 효과적으로 식별하고, 50% 마스킹 비율에서도 신뢰할 수 있는 픽셀 재구성 결과를 도출함을 확인했다.