[논문 리뷰] UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training

Mingyang Zhou, Luowei Zhou외 5명|arXiv (Cornell University)|2021. 04. 01.

Multimodal Machine Learning Applications참고 문헌 49인용 수 7

한 줄 요약

UC2는 다국어 캡션과 시각적 특징을 이미지를 공통 기준으로 삼아 정렬함으로써, 보편적인 다국어 다중모달 시각-언어 사전학습 프레임워크를 제안한다. 두 가지 새로운 사전학습 작업인 마스킹 영역-토큰 모델링(Masked Region-to-Token Modeling)과 시각 번역 언어 모델링(Visual Translation Language Modeling)을 도입함으로써, UC2는 다국어 이미지-텍스트 검색 및 VQA 벤치마크에서 최신 기준 성능을 달성하면서도 영어 성능을 유지한다.

ABSTRACT

Vision-and-language pre-training has achieved impressive success in learning multimodal representations between vision and language. To generalize this success to non-English languages, we introduce UC2, the first machine translation-augmented framework for cross-lingual cross-modal representation learning. To tackle the scarcity problem of multilingual captions for image datasets, we first augment existing English-only datasets with other languages via machine translation (MT). Then we extend the standard Masked Language Modeling and Image-Text Matching training objectives to multilingual setting, where alignment between different languages is captured through shared visual context (i.e, using image as pivot). To facilitate the learning of a joint embedding space of images and all languages of interest, we further propose two novel pre-training tasks, namely Masked Region-to-Token Modeling (MRTM) and Visual Translation Language Modeling (VTLM), leveraging MT-enhanced translated data. Evaluation on multilingual image-text retrieval and multilingual visual question answering benchmarks demonstrates that our proposed framework achieves new state-of-the-art on diverse non-English benchmarks while maintaining comparable performance to monolingual pre-trained models on English tasks.

연구 동기 및 목표

• 기계 번역을 통해 영어 전용 데이터셋을 다국어 캡션으로 보강하여 다국어 이미지 캡션 데이터셋의 부족을 해결한다.
• 기존의 시각-언어 모델이 주로 영어를 중심으로 설계되어 있는 언어적 편향을 극복하기 위해, 다양한 언어 간의 공동 표현 학습을 가능하게 한다.
• 이미지를 공통 기준으로 삼아 시각과 다양한 언어를 정렬하는 통합된 사전학습 프레임워크를 개발하여, 단일 언어 모델에 대한 의존도를 줄인다.
• 다국어 다중모달 이해에 특화된 새로운 사전학습 목표를 통해 다국어 및 다중모달 정렬을 향상시킨다.
• 언어별 미세조정 없이도 비영어 벤치마크에서 강력한 제로샷 또는 소수의 샘플을 통한 전이 성능을 달성한다.

제안 방법

• 기계 번역(Neural Machine Translation, NMT)을 활용해 기존의 영어 전용 이미지-캡션 데이터셋을 다국어 캡션으로 보강하여 대규모 다국어 학습 코퍼스를 생성한다.
• 공통 이미지를 기준으로 하여 다국어 정렬을 수행함으로써, 표준 사전학습 작업인 마스킹 언어 모델링과 이미지-텍스트 매칭을 다국어 환경으로 확장한다.
• 마스킹 영역-토큰 모델링(Masked Region-to-Token Modeling, MRTM)을 제안하여, 공통 임bedding 공간 내에서 단어 토큰과 객체 검출기 예측(영역 레이블)을 정렬함으로써 국소적인 다중모달 정렬을 향상시킨다.
• 시각 번역 언어 모델링(Visual Translation Language Modeling, VTLM)을 도입하여, 대응하는 이미지와 함께 번역된 다국어 캡션을 활용해 다국어 및 다중모달 표현을 공동으로 학습한다.
• 이미지와 모든 언어 변형을 동시에 고려하는 다국어 다중모달 트랜스포머를 학습함으로써, 공동 임베딩 공간 학습을 가능하게 한다.
• 이중 단계 사전학습 전략을 사용한다: 먼저 다국어 이미지-캡션 쌍으로 사전학습을 수행하고, 이후 언어별 데이터를 사용하여 최종 작업에 대해 미세조정한다.

실험 결과

연구 질문

• RQ1 기계 번역을 통해 기존의 영어 전용 이미지-캡션 데이터셋을 효과적으로 보강하여 다국어 시각-언어 모델의 학습을 가능하게 할 수 있는가?
• RQ2 영어가 아닌 이미지를 공통 기준으로 삼을 경우, 시각-언어 작업에서 다국어 전이 성능이 향상되는가?
• RQ3 MRTM와 VTLM와 같은 새로운 사전학습 목표가 언어 토큰, 이미지 영역, 다국어 의미 간의 세밀한 정렬을 향상시킬 수 있는가?
• RQ4 제안된 UC2 프레임워크는 영어 벤치마크에서는 단일 언어 모델과, 비영어 작업에서는 다국어 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ5 모델이 자원이 적은 언어에 대해 검색 및 시각 질문 응답 작업에서 얼마나 일반화되는가?

주요 결과

• UC2는 픽처플리크30K 및 MSCOCO 벤치마크에서 네 개 언어(영어, 독일어, 프랑스어, 체코어)에 대해 다국어 이미지-텍스트 검색에서 최신 기준 성능을 달성했으며, 메타-평균 정확도는 85.3%를 기록했다.
• VQA v2.0 벤치마크에서 UC2는 테스트-디브 정확도 71.48%를 달성하여 이전 방법들을 능가했으며, 강력한 제로샷 다국어 전이 성능을 입증했다.
• 제거 실험 결과, MRTM를 제거할 경우 VQA 성능이 0.55점 감소함을 확인하여, 이 모델이 세밀한 시각-언어 정렬에 핵심적인 역할을 한다는 것을 입증했다.
• VTLM는 검색 성능 향상에 기여하여, MRTM와 병행 적용 시 메타-평균 정확도를 0.9점 향상시켰다.
• 이미지 중심 정렬 전략은 영어 중심 정렬 전략보다 평균 1.1점 높은 성능을 보였으며, 특히 자원이 적은 언어에서 유의미한 이점을 제공했다.
• 시각화 결과, 서로 다른 언어(예: 영어, 독일어, 체코어)에서 의미적으로 동일한 단어들이 동일한 이미지 영역을 향해 주의를 기울이는 것으로 확인되어, 다국어 정렬의 타당성이 검증되었다.