[논문 리뷰] VLMixer: Unpaired Vision-Language Pre-training via Cross-Modal CutMix

Teng Wang, Wenhao Jiang외 5명|arXiv (Cornell University)|2022. 06. 17.

Multimodal Machine Learning Applications인용 수 12

한 줄 요약

VLMixer는 쌍체계가 없는 시각-언어 사전학습 방법을 제안하며, 시각적 지칭어를 의미적으로 일치하는 이미지 패치로 교체함으로써 다중모달 문장을 생성하는 교차모달 CutMix(CMC)를 사용하여, 쌍체계 데이터 없이 암묵적인 교차모달 정렬을 가능하게 한다. CMC를 대비학습과 융합함으로써 VLMixer는 다섯 가지 시각-언어 태스크에서 최신 기술 수준(SOTA) 성능을 달성하였다.

ABSTRACT

Existing vision-language pre-training (VLP) methods primarily rely on paired image-text datasets, which are either annotated by enormous human labors, or crawled from the internet followed by elaborate data cleaning techniques. To reduce the dependency on well-aligned image-text pairs, it is promising to directly leverage the large-scale text-only and image-only corpora. This paper proposes a data augmentation method, namely cross-modal CutMix (CMC), for implicit cross-modal alignment learning in unpaired VLP. Specifically, CMC transforms natural sentences from the textual view into a multi-modal view, where visually-grounded words in a sentence are randomly replaced by diverse image patches with similar semantics. There are several appealing proprieties of the proposed CMC. First, it enhances the data diversity while keeping the semantic meaning intact for tackling problems where the aligned data are scarce; Second, by attaching cross-modal noise on uni-modal data, it guides models to learn token-level interactions across modalities for better denoising. Furthermore, we present a new unpaired VLP method, dubbed as VLMixer, that integrates CMC with contrastive learning to pull together the uni-modal and multi-modal views for better instance-level alignments among different modalities. Extensive experiments on five downstream tasks show that VLMixer could surpass previous state-of-the-art unpaired VLP methods.

연구 동기 및 목표

• 시각-언어 사전학습에서 고비용의 인간 레이블링이 필요한 이미지-텍스트 쌍에 대한 의존도를 줄이기 위해.
• 단독으로 존재하는 이미지 및 텍스트 코퍼스만을 사용하여 쌍체계가 없는 환경에서 효과적인 교차모달 정렬을 가능하게 하기 위해.
• 의미를 손상시키지 않은 채 자연어 문장에 시각 토큰을 삽입하여 데이터 다양성과 모델 일반화 능력을 향상시키기 위해.
• 데이터 증강을 통한 암묵적 정렬을 통해 토큰 수준의 세밀한 교차모달 상호작용을 학습하기 위해.
• 이미지 태그나 명시적 정렬 감독 없이도 쌍체계가 없는 시각-언어 사전학습에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 교차모달 CutMix(CMC)는 사전에 구축된 시각 패치 갤러리에서 의미적으로 유사한 이미지 패치로 텍스트 내 시각적 지칭어를 교체하여 다중모달 문장을 구성한다.
• 시각 패치 갤러리는 이미지 전용 데이터셋에서 고품질이고 다양한 이미지 패치를 추출하기 위해 개념 탐지기를 사용하여 구축되며, 이는 텍스트 개념과 의미 일치를 보장한다.
• 원본 텍스트 문장과 그 다중모달 CMC 변환 버전 사이에 대비학습 목표를 적용하여 모달 간 인스턴스 수준의 정렬을 유도한다.
• 공유 인코더를 사용하여 단모달 및 다중모달 뷰를 모두 동일한 임베딩 공간으로 매핑함으로써 대비 손실을 통한 정렬을 가능하게 한다.
• 예측 품질 향상과 패치 교체의 균형을 확보하기 위해 K-샷 CMC와 맥락 인식 샘플링 기법을 도입한다.
• 모델은 대규모 쌍체계가 없는 이미지 및 텍스트 데이터셋(예: COCO)에서 사전학습되고, 이후 어떤 쌍체계 데이터 없이도 태스크에 맞게 미세조정된다.

실험 결과

연구 질문

• RQ1 CutMix를 통한 교차모달 데이터 증강이 쌍체계가 없는 시각-언어 사전학습에서 교차모달 정렬을 향상시키는가?
• RQ2 자연어 문장에 시각 토큰을 삽입함으로써 의미를 유지하면서 모델 일반화 능력을 향상시키는가?
• RQ3 쌍체계 감독 없이도 단모달 및 다중모달 뷰 간의 대비학습이 모달 간 정렬을 효과적으로 수행하는가?
• RQ4 텍스트 및 이미지 코퍼스 간 공유되는 시각 개념의 수가 태스크 성능에 어떤 영향을 미치는가?
• RQ5 샘플링 전략(예: K-샷, 맥락 인식)의 영향은 다중모달 문장 구성 품질에 어떤가?

주요 결과

• VLMixer는 VQA 및 NLVR2를 포함한 다섯 가지 태스크에서 기존의 쌍체계가 없는 사전학습 방법을 능가하는 최신 기술 수준 성능을 달성하였다.
• NLVR2 벤치마크에서 VLMixer는 테스트 세트에서 73.08%의 정확도를 기록하여 이전 최신 기술 수준을 크게 뛰어넘었다.
• 절단 실험 결과, K-샷 CMC와 맥락 인식 샘플링 모두 성능 향상에 기여하며, 더 큰 K 값일수록 균형 잡힌 토큰 혼합으로 인해 더 좋은 성능을 보였다.
• 패치 갤러리 내 공유 개념의 수가 성능에 정비례하며, 1200개 개념에서 최고 성능을 기록하다가 긴 꼬리 클래스에서의 오인식으로 인해 약간 감소했다.
• 단모달과 다중모달 뷰 간의 대비학습은 텍스트 전용 데이터 증강(예: 자르기, 단어 삭제)보다 성능이 뛰어나, 교차모달 감독의 효과를 입증하였다.
• 모델의 성능은 데이터 증강 설계에 대해 강건하였으며, 교차모달 대비학습이 여러 태스크에서 일관되게 성능 향상을 이끌었다.