[논문 리뷰] Understanding Chinese Video and Language via Contrastive Multimodal Pre-Training

Chenyi Lei, Shixian Luo외 7명|arXiv (Cornell University)|2021. 04. 19.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 복잡한 시공간적 및 순차적 관계를 포착하기 위해 새로운 복원형 및 대비형 프록시 작업을 도입한 중국어 비디오-언어 이해를 위한 대비형 다중모달 사전학습 프레임워크 Victor을 제안한다. 대규모 AlivOL-10M 데이터셋으로 훈련된 Victor는 비디오 검색, 분류, 추천, 캡션 생성 등 다양한 하류 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The pre-trained neural models have recently achieved impressive performances in understanding multimodal content. However, it is still very challenging to pre-train neural models for video and language understanding, especially for Chinese video-language data, due to the following reasons. Firstly, existing video-language pre-training algorithms mainly focus on the co-occurrence of words and video frames, but ignore other valuable semantic and structure information of video-language content, e.g., sequential order and spatiotemporal relationships. Secondly, there exist conflicts between video sentence alignment and other proxy tasks. Thirdly, there is a lack of large-scale and high-quality Chinese video-language datasets (e.g., including 10 million unique videos), which are the fundamental success conditions for pre-training techniques. In this work, we propose a novel video-language understanding framework named VICTOR, which stands for VIdeo-language understanding via Contrastive mulTimOdal pRe-training. Besides general proxy tasks such as masked language modeling, VICTOR constructs several novel proxy tasks under the contrastive learning paradigm, making the model be more robust and able to capture more complex multimodal semantic and structural relationships from different perspectives. VICTOR is trained on a large-scale Chinese video-language dataset, including over 10 million complete videos with corresponding high-quality textual descriptions. We apply the pre-trained VICTOR model to a series of downstream applications and demonstrate its superior performances, comparing against the state-of-the-art pre-training methods such as VideoBERT and UniVL. The codes and trained checkpoints will be publicly available to nourish further developments of the research community.

연구 동기 및 목표

• 사전학습을 위한 대규모 고품질 중국어 비디오-언어 데이터셋의 부족을 해결한다.
• 기존 비디오-언어 사전학습 모델이 비디오와 텍스트의 시공간적 및 순차적 관계를 충분히 활용하지 못하는 한계를 극복한다.
• 대비 학습을 도입하여 비디오-문장 정렬과 다른 프록시 작업 간의 갈등을 해결한다.
• 하류 작업인 중국어 비디오-언어 작업을 위한 다중모달 표현 학습을 향상시키는 견고한 사전학습 프레임워크를 개발한다.
• 다양한 하류 응용 분야, 즉 검색, 분류, 추천 및 캡션 생성에서 제안된 모델의 유효성을 입증한다.

제안 방법

• 비디오-언어 사전학습을 위한 인코더-디코더 기반 트랜스포머 프레임워크인 Victor을 제안한다.
• 순서 구조를 포착하기 위해 새로운 복원형 프록시 작업인 마스크된 프레임 순서 모델링(MFOM)과 마스크된 문장 순서 모델링(MSOM)을 도입한다.
• 정확도를 향상시키고 불일치하는 쌍으로 인한 간섭을 줄이기 위해 이중 비디오-텍스트 정렬(dual-VSA)을 포함한 대비 프록시 작업을 설계한다.
• 고품질 텍스트 설명이 포함된 1,000만 개 이상의 영상을 포함한 대규모 중국어 비디오-언어 데이터셋인 AlivOL-10M을 활용한다.
• 다중모달 표현 학습을 공동 최적화하기 위해 복원형 및 대비형 목표를 조합하여 모델을 훈련한다.
• 분류 작업의 경우 [CLS] 토큰 임베딩을, 캡션 생성 작업의 경우 디코더 기반 생성을 사용하여 하류 작업에 대해 Victor를 미세조정한다.

Figure 1. General proxy tasks that are widely used in existing video-language pre-training methods.

실험 결과

연구 질문

• RQ1 불일치하는 비디오-텍스트 쌍으로 인한 간섭을 줄임으로써 대비 학습이 비디오-언어 사전학습에서 다중모달 표현 학습을 향상시키는가?
• RQ2 MFOM 및 MSOM과 같은 새로운 프록시 작업이 비디오와 언어의 순차적 및 구조적 관계를 포착하는 데 모델의 능력에 얼마나 기여하는가?
• RQ3 고품질 대규모 중국어 비디오-언어 데이터셋에서 사전학습을 수행할 경우, 기존 방법에 비해 하류 성능에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크가 다양한 비디오-언어 작업에서 VideoBERT 및 UniVL과 같은 최신 기술 수준의 모델을 능가할 수 있는가?
• RQ5 내부 및 상호 MFM를 통한 시공간적 관계 모델링이 분류 및 검색 작업에 기여하는 정도는 어떠한가?

주요 결과

• Victor는 비디오 검색에서 가장 높은 성능을 기록하여 R@10이 86.7%를 기록하며, UniVL 및 VideoBERT를 포함한 모든 베이스라인을 능가한다.
• 다중 수준 비디오 분류에서 Victor는 LeafCate 작업에서 92.1%의 Top-1 정확도와 TopCate 작업에서 89.3%의 정확도를 달성하여 M3 및 M4를 초월한다.
• 비디오 추천에서 Victor는 AUC 0.892와 HR@5 0.721을 기록하여 DIN 기준선 및 기타 사전학습 모델보다 뚜렷이 뛰어나다.
• 다중모달 비디오 캡션 생성에서 Victor는 BLEU-4 38.2, Meteor 28.9, Cider 124.1을 기록하여 UniVL의 모든 지표를 초월한다.
• 절단 실험 결과, MFOM 및 MSOM이 순차적 추론 능력을 크게 향상시키며, dual-VSA 및 MFM는 검색 및 분류 정확도를 향상시킨다.
• 10M 데이터셋 전체로 훈련한 결과가 100K 서브셋으로 훈련한 결과보다 유의미하게 뛰어나, 대규모 데이터의 중요성을 입증한다.

Figure 2. An example of the videos in Alivol -10M dataset. Besides the high-resolution video frames and human-created title, the video also contains a long-text abstract and a related e-commerce product with images. Each video has three types of categories: plot category, coarse-grained product cate