[논문 리뷰] Cross-View Language Modeling: Towards Unified Cross-Lingual Cross-Modal Pre-training

Yan Zeng, Wangchunshu Zhou외 3명|arXiv (Cornell University)|2022. 06. 01.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 공유된 아키텍처와 목표를 사용하여 다국어 및 다중 모odal 표현 학습을 동시에 최적화하는 통합된 사전 훈련 프레임워크인 크로스뷰 언어 모델링(CCLM)을 제안한다. 이미지-캡션 쌍과 병렬 문장 쌍을 동일한 기저 개념의 두 가지 시각으로 간주함으로써, CCLM는 조건부 마스킹 언어 모델링과 대비 학습을 통해 상호 정보를 최대화하고, IGLUE에서 10퍼센트 이상의 절대 정확도 향상을 달성하며, 제로샷 다국어 전이에서 처음으로 번역-테스트 베이스라인을 뛰어넘는 최신 기술 성능을 달성한다.

ABSTRACT

In this paper, we introduce Cross-View Language Modeling, a simple and effective pre-training framework that unifies cross-lingual and cross-modal pre-training with shared architectures and objectives. Our approach is motivated by a key observation that cross-lingual and cross-modal pre-training share the same goal of aligning two different views of the same object into a common semantic space. To this end, the cross-view language modeling framework considers both multi-modal data (i.e., image-caption pairs) and multi-lingual data (i.e., parallel sentence pairs) as two different views of the same object, and trains the model to align the two views by maximizing the mutual information between them with conditional masked language modeling and contrastive learning. We pre-train CCLM, a Cross-lingual Cross-modal Language Model, with the cross-view language modeling framework. Empirical results on IGLUE, a multi-lingual multi-modal benchmark, and two multi-lingual image-text retrieval datasets show that while conceptually simpler, CCLM significantly outperforms the prior state-of-the-art with an average absolute improvement of over 10%. Moreover, CCLM is the first multi-lingual multi-modal pre-trained model that surpasses the translate-test performance of representative English vision-language models by zero-shot cross-lingual transfer.

연구 동기 및 목표

• 기존 모델이 단순한 번역-테스트 베이스라인에 못 미치는 다국어 다중 모달 사전 훈련의 격차를 해소하기 위해.
• 모델 아키텍처와 훈련 목표를 공유하는 단일 프레임워크 안에서 다국어 및 다중 모달 사전 훈련을 통합하기 위해.
• 풍부한 병렬 문장 쌍과 이미지-캡션 쌍을 동일한 의미적 내용의 두 가지 별개의 시각으로 활용하여 공동 표현 정렬을 위해.
• 언어별 특화된 미세조정 없이도 뛰어난 제로샷 다국어 전이 성능을 달성하기 위해.
• 대규모이고 다양한 다국어 다중 모달 데이터에서의 확장성과 효과성 입증하기 위해.

제안 방법

• CCLM는 다중 모달 데이터(이미지-캡션 쌍)와 다국어 데이터(병렬 문장 쌍)를 동일한 기저 객체의 두 가지 다른 시각으로 간주한다.
• 모델은 두 시각의 표현을 공통의 의미 공간으로 융합하기 위해 공유된 교차 어텐션 트랜스포머를 사용한다.
• 조건부 마스킹 언어 모델링, 대비 학습, 매칭 목표를 통합한 목적함수를 사용하여 두 시각 간의 상호 정보를 최대화하는 방식으로 모델을 훈련한다.
• 다국어 및 다중 모달 작업 모두에 동일한 공유 아키텍처를 사용함으로써, 작업별 특화 모듈이나 별도의 파rameter화가 필요 없도록 한다.
• CC3M를 이미지-텍스트 데이터로, WikiMatrix를 병렬 문장으로 사용하여 사전 훈련을 수행하며, 모델 가중치는 빌리언 스케일 영어 데이터로 사전 훈련된 X2-VLM에서 초기화한다.
• M3P 및 UC2와 같은 이전 연구에서 사용된 별도의 목적함수와 비교해 볼 때, 통합 목적함수가 특히 다국어 이해 작업에서 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 공유된 아키텍처와 목표를 사용하여 다국어 및 다중 모달 표현을 효과적으로 정렬할 수 있는 통합 사전 훈련 프레임워크가 가능한가?
• RQ2 병렬 문장 쌍을 활용하면 단순한 단일 언어 마스킹에 비해 다국어 다중 모달 사전 훈련 성능이 크게 향상되는가?
• RQ3 통합 모델이 시각-언어 작업의 제로샷 다국어 전이에서 번역-테스트 베이스라인을 뛰어넘을 수 있는가?
• RQ4 성능 및 확장성 측면에서 공유 아키텍처와 통합 목적함수는 작업별 특화 설계보다 어떻게 비교되는가?
• RQ5 대규모 사전 훈련 데이터와 더 큰 모델 크기의 영향은 어느 정도인가?

주요 결과

• CCLM는 이전 최고 성능 모델 대비 IGLUE(다국어 다중 모달 벤치마크)에서 평균 10퍼센트 이상의 절대 성능 향상을 달성했다.
• 이미지-텍스트 검색에서 CCLM는 두 개의 다국어 데이터셋에서 R@1이 각각 10퍼센트 이상 향상되어 강력한 제로샷 전이 능력을 입증했다.
• CCLM는 다국어 다중 모달 모델로서 처음으로 제로샷 다국어 전이에서 번역-테스트 베이스라인을 뛰어넘는 성과를 보였으며, 이는 분야에서의 주요 전환점이다.
• 절단 실험 결과 병렬 문장 쌍이 성능 향상에 핵심적임을 확인하였고, 통합 목적함수와 공유 아키텍처가 별도의 설계보다 뚜렷이 뛰어난 성능을 보였다.
• 모델는 확장성 면에서 강력한 성능을 보였으며, 더 큰 데이터로 사전 훈련하거나 더 큰 모델 크기를 사용할수록 성능 향상이 관찰되었다.
• 시각화 결과 CCLM가 베이스라인 모델 대비 다국어 및 다중 모달 표현을 더 잘 정렬함을 확인했다.