[논문 리뷰] End-to-end Generative Pretraining for Multimodal Video Captioning

Paul Hongsuck Seo, Arsha Nagrani외 2명|arXiv (Cornell University)|2022. 01. 20.

Multimodal Machine Learning Applications인용 수 14

한 줄 요약

이 논문은 다중모달 비디오 자동번역을 위한 새로운 엔드 투 엔드 생성적 사전학습 프레임워크인 MV-GPT를 제안한다. 이 프레임워크는 레이블이 없는 비디오만을 사용하여 다중모달 비디오 인코더와 문장 디코더를 동시에 학습한다. 미래의 발화를 이중적 생성 목표를 통해 예측함으로써, 현재와 미래의 발화를 모두 예측하는 방식으로 보조 신호를 활용함으로써, 수동으로 레이블링된 자막이 없이도 비디오 자동번역, VideoQA, 검색, 동작 분류 등에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Recent video and language pretraining frameworks lack the ability to generate sentences. We present Multimodal Video Generative Pretraining (MV-GPT), a new pretraining framework for learning from unlabelled videos which can be effectively used for generative tasks such as multimodal video captioning. Unlike recent video-language pretraining frameworks, our framework trains both a multimodal video encoder and a sentence decoder jointly. To overcome the lack of captions in unlabelled videos, we leverage the future utterance as an additional text source and propose a bidirectional generation objective -- we generate future utterances given the present mulitmodal context, and also the present utterance given future observations. With this objective, we train an encoder-decoder model end-to-end to generate a caption from raw pixels and transcribed speech directly. Our model achieves state-of-the-art performance for multimodal video captioning on four standard benchmarks, as well as for other video understanding tasks such as VideoQA, video retrieval and action classification.

연구 동기 및 목표

• 대규모 수동 레이블링된 비디오 자막의 부족으로 인해 생성적 비디오 이해 모델의 학습이 제한되는 문제를 해결하기 위해.
• 수동으로 레이블링된 자막이 없이도 다중모달 인코더와 문장 디코더를 공동으로 사전학습할 수 있도록 하기 위해.
• 노이즈 제거 오토인코더보다 더 강력한 사전학습 목표를 개발하기 위해, 시간적으로 떨어진 발화를 보조 신호로 사용하기 위해.
• 엔드 투 엔드 최적화를 통해 다중모달 비디오 자동번역, VideoQA, 비디오 검색, 동작 분류 등의 최종 작업 성능을 향상시키기 위해.
• 지침 영상에서의 미래 발화가 자기지도 학습에서 자동번역 레이블링의 대체 신호로 기능할 수 있음을 입증하기 위해.

제안 방법

• 프레임워크는 이중적 생성 목표를 사용한다: 현재 비디오와 음성 입력에서 미래 발화를 예측하고, 미래 관찰에서 현재 발화를 예측한다.
• 학습 중 전방 및 후방 생성 작업을 구분하기 위해 특수 토큰(CL1, CL2, BOS1, BOS2)을 사용한다.
• 자동 음성 인식(ASR) 전사본은 있지만 자막이 없는 HowTo100M와 같은 데이터셋의 레이블이 없는 지침 영상에서 엔드 투 엔드로 모델을 학습한다.
• 표현 학습을 향상시키기 위해 생성적 목표와 함께 대비 학습 목표(Bi-NCE)를 사용한다.
• 다중모달 인코더는 시각적 프레임과 음성 전사본을 처리하고, 디코더는 자연어 자막을 생성한다.
• 비디오 자동번역, VideoQA, 검색, 동작 분류와 같은 최종 작업으로의 전이 학습을 지원한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 지침 영상에서 미래의 발화가 엔드 투 엔드 사전학습을 위한 다중모달 비디오 자동번역 모델의 보조 신호로 효과적으로 사용될 수 있는가?
• RQ2 미래와 현재 발화를 모두 생성하는 이중적 생성 목표가 단방향 또는 노이즈 제거 오토인코더 접근 방식보다 성능 향상에 기여하는가?
• RQ3 엔드 투 엔드로 훈련된 인코더-디코더 모델이 디코더를 무작위로 초기화하거나 별도로 사전학습한 모델보다 성능이 뛰어나게 되는가?
• RQ4 MV-GPT가 VideoQA, 검색, 동작 분류와 같은 최종 비디오 이해 작업에서 얼마나 향상된 성능을 보이는가?
• RQ5 수동으로 레이블링된 자막이 없는 상황에서 MV-GPT가 다른 자기지도 사전학습 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• MV-GPT는 네 가지 표준 벤치마크에서 이전 방법들을 능가하는 최신 기술 수준(SOTA)의 성능을 달성하여 다중모달 비디오 자동번역에서 최고 성능을 기록했다.
• MSR-VTT 비디오 검색에서 MV-GPT는 ASR를 사용할 경우 R@1이 37.3%로, 그렇지 않을 경우 33.6%를 기록하여 Bi-NCE 기준선 대비 6.3% 상대적 향상을 이뤘다.
• MSRVTT-QA와 ActivityNet-QA에서 VideoQA 성능은 각각 41.7%와 39.1%를 기록하여 기존 SOTA 모델과 동등하거나 이를 초월했다.
• Kinetics-400 동작 분류에서 MV-GPT는 초기화 단계에서부터 74.20%의 정확도를 달성했으며, 초기화 단계에서부터 학습한 경우보다 24%포인트 향상된 성능을 보였다.
• ImageNet-21k 가중치로 초기화하고 HowTo100M에서 추가 사전학습을 거친 MV-GPT는 Kinetics-400에서 80.40%의 정확도를 기록하여 원본 ViViT 기준선보다 1.5% 높은 성능을 보였다.
• 절단 분석 결과, 이중적 생성 목표가 단방향 또는 노이즈 기반 목표보다 성능 향상에 뚜렷한 기여를 한다는 것이 확인되었다.