[논문 리뷰] An Empirical Study of End-to-End Video-Language Transformers with Masked Visual Modeling

Tsu-Jui Fu, Linjie Li외 5명|arXiv (Cornell University)|2022. 09. 04.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 종단간 전이형 비디오-언어 트랜스포머에서 마스킹된 시각 모델링(MVM)에 대한 종합적인 실험 연구를 제시하며, 공간 집중형 이미지 특징(SIF)을 갖춘 VIOLETv2—가장 효과적인 MVM 목표로 개선된 모델—을 제안한다. 이 방법은 13개의 비디오-언어 벤치마크에서 최신 기술 성능을 달성하며, 비디오 질의 응답에서 +5.4% 정확도 향상, 텍스트-비디오 검색에서 +6.6% 재현율 향상, 비디오 캡션에서 +11.4 CIDEr 향상 달성하여, SIF 기반 MVM이 원시 비디오 입력에서 종단간 훈련 시 일관된 작업 성능 향상에 크게 기여함을 보여준다.

ABSTRACT

Masked visual modeling (MVM) has been recently proven effective for visual pre-training. While similar reconstructive objectives on video inputs (e.g., masked frame modeling) have been explored in video-language (VidL) pre-training, previous studies fail to find a truly effective MVM strategy that can largely benefit the downstream performance. In this work, we systematically examine the potential of MVM in the context of VidL learning. Specifically, we base our study on a fully end-to-end VIdeO-LanguagE Transformer (VIOLET), where the supervision from MVM training can be backpropagated to the video pixel space. In total, eight different reconstructive targets of MVM are explored, from low-level pixel values and oriented gradients to high-level depth maps, optical flow, discrete visual tokens, and latent visual features. We conduct comprehensive experiments and provide insights into the factors leading to effective MVM training, resulting in an enhanced model VIOLETv2. Empirically, we show VIOLETv2 pre-trained with MVM objective achieves notable improvements on 13 VidL benchmarks, ranging from video question answering, video captioning, to text-to-video retrieval.

연구 동기 및 목표

• 종단간 비디오-언어 사전 훈련에서 다양한 마스킹된 시각 모델링(MVM) 목표의 효과성을 조사하기 위해.
• 저수준 특징에서 고수준 표현에 이르기까지 다양한 MVM 타겟 중에서 비디오-언어 이해도 향상에 가장 효과적인 것을 특정하기 위해.
• 마스킹 전략, 비율, 그리고 MVM 목표의 조합이 모델 성능에 미치는 영향을 분석하기 위해.
• 가장 효과적인 MVM 조리법을 활용해 개선된 종단간 전이형 비디오-언어 모델인 VIOLETv2를 개발하고 검증하기 위해.
• MVM 목표의 효과성이 비디오-텍스트와 이미지-텍스트 사전 훈련 간에 상당히 다름을 드러내기 위해.

제안 방법

• 연구는 원시 비디오 프레임를 처리하고 MVM 감독 신호에서 픽셀 수준의 특징으로 역전파가 가능한 완전한 종단간 전이형 비디오-언어 트랜스포머인 VIOLET 기반으로 진행된다.
• 여덟 가지 다른 MVM 타겟이 평가되었다: RGB 픽셀 값, 기울기 방향 히스토GRAM(HOG), 깊이 맵, 광학 흐름, 이산 시각 토큰(VQ), 공간 집중형 이미지 특징(SIF), 시간 인식 비디오 특징(TVF), 그리고 CLIP에서 유도된 다중모달 특징(MMF).
• 사전 훈련 기간 동안 공간적 및 시간적 차원에서 무작위 패치가 마스킹되며, 모델은 마스킹된 시각 타겟을 재구성하도록 훈련된다.
• 모델는 비디오-텍스트 매칭(VTM)과 마스킹된 언어 모델링(MLM)을 함께 훈련하여 다중 작업 학습 목표를 형성한다.
• 가장 높은 성능를 보인 MVM 목표(SIF)는 VIOLETv2에 통합되었으며, 이는 13개의 하류 VidL 벤치마크에서 미세조정된다.
• 마스킹 비율, 전략, 다중목표 MVM 조합에 대한 광범위한 추상화 연구를 통해 훈련 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 종단간 비디오-언어 사전 훈련에서 어떤 마스킹된 시각 모델링(MVM) 목표가 가장 높은 성능 향상을 이끌어내는가?
• RQ2 MVM 목표의 효과성은 비디오-텍스트와 이미지-텍스트 사전 훈련 시나리오 간에 어떻게 다름이 있는가?
• RQ3 효과적인 MVM 훈련을 위해 최적의 마스킹 전략과 비율은 무엇인가?
• RQ4 여러 개의 MVM 목표 조합이 하류 성능에 어떤 영향을 미치는가?
• RQ5 원시 비디오 입력에서 MVM을 사용한 종단간 훈련이 추출된 특징으로 사전 훈련된 모델보다 성능이 뛰어나게 할 수 있는가?

주요 결과

• 공간 집중형 이미지 특징(SIF)은 비디오-언어 사전 훈련에서 가장 효과적인 MVM 목표로, RGB 픽셀, HOG, 깊이, 광학 흐름 등 다른 타겟들보다 뚜렷한 성능 향상을 보였다.
• SIF 기반 MVM의 성능 향상은 비디오-텍스트 사전 훈련에 특화되어 있으며, 이미지-텍스트 쌍에 적용할 경우 하류 성능이 크게 하락함을 보여, 모odal별로 효과성이 다름을 시사한다.
• SIF 기반 MVM으로 사전 훈련된 VIOLETv2는 동일한 500만 개의 비디오-텍스트 코퍼스로 사전 훈련된 모델 대비 비디오 질의 응답에서 평균 +5.4% 정확도 향상, 텍스트-비디오 검색에서 +6.6% 재현율 향상, 비디오 캡션에서 +11.4 CIDEr 향상 달성.
• 심지어 더 적은 데이터로 사전 훈련된 경우에도 VIOLETv2는 원래의 VIOLET 모델보다 성능이 뛰어나, 제안된 MVM 전략의 효율성과 확장성을 입증한다.
• MVM의 최적 마스킹 비율은 공간-시간 패치의 약 30–50%로 확인되었으며, 이 비율을 초과하면 과도한 감독으로 성능 저하가 발생함을 확인했다.
• SIF를 VQ 또는 HOG와 같은 다른 MVM 목표와 조합할 경우 성능 향상이 미미하여, SIF만으로도 강력한 성능을 달성할 수 있음을 시사한다.