[논문 리뷰] MAP: Multimodal Uncertainty-Aware Vision-Language Pre-training Model

Yatai Ji, Junjie Wang외 7명|arXiv (Cornell University)|2022. 10. 11.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 확률 분포 인코더(PDE)를 통해 다중모odal 특징을 가우시안 분포로 표현함으로써 불확실성을 모델링하는 MAP라는 다중모달 시각-언어 사전학습 모델을 제안한다. 불확실성 인식 사전학습 작업인 D-VLC, D-MLM, D-ITM를 통합함으로써, 이미지-텍스트 검색, VQA, 시각적 추론과 같은 다운스트림 작업에서 최신 기준 성능을 달성하며, 학습된 분포에서 샘플링을 통해 다양한 불확실성 기반 예측을 가능하게 한다.

ABSTRACT

Multimodal semantic understanding often has to deal with uncertainty, which means the obtained messages tend to refer to multiple targets. Such uncertainty is problematic for our interpretation, including inter- and intra-modal uncertainty. Little effort has studied the modeling of this uncertainty, particularly in pre-training on unlabeled datasets and fine-tuning in task-specific downstream datasets. In this paper, we project the representations of all modalities as probabilistic distributions via a Probability Distribution Encoder (PDE) by utilizing sequence-level interactions. Compared to the existing deterministic methods, such uncertainty modeling can convey richer multimodal semantic information and more complex relationships. Furthermore, we integrate uncertainty modeling with popular pre-training frameworks and propose suitable pre-training tasks: Distribution-based Vision-Language Contrastive learning (D-VLC), Distribution-based Masked Language Modeling (D-MLM), and Distribution-based Image-Text Matching (D-ITM). The fine-tuned models are applied to challenging downstream tasks, including image-text retrieval, visual question answering, visual reasoning, and visual entailment, and achieve state-of-the-art results.

연구 동기 및 목표

• 다양한 시각-언어 작업에서의 의미적 불확실성, 특히 이질적 및 내재적 모달 간의 애매함에 도전하기 위해.
• 다중모달 표현의 불확실성을 결정론적 점이 아닌 확률 분포로 모델링하여 더 풍부한 의미 관계를 포착하기 위해.
• 대규모 레이블이 없는 데이터를 활용하기 위해 분포 표현을 활용하는 새로운 사전학습 작업을 개발하기 위해.
• 향상된 다운스트림 성능를 위해 불확실성 모델링을 통합한 통합형 엔드 투 엔드 사전학습 프레임워크를 구축하기 위해.
• 샘플링을 통한 학습된 분포에서 유의미하고 다양한 예측을 가능하게 하여 VQA 및 이미지 캡션과 같은 작업에서 다양한 타당한 예측을 가능하게 하기 위해.

제안 방법

• 확률 분포 인코더(PDE)는 토큰과 이미지 패치 간의 어텐션 기반 상호작용을 통해 시각 및 언어 모달리티의 시퀀스 수준 표현을 가우시안 분포로 변환한다.
• 각 모달리티의 표현은 평균 및 분산 벡터로 매개변수화되어 다변수 가우시안 분포를 형성하여 불확실성을 인코딩한다.
• 세 가지 새로운 사전학습 작업이 도입된다: 분포 기반 시각-언어 대비 학습(D-VLC), 분포 기반 마스킹 언어 모델링(D-MLM), 분포 기반 이미지-텍스트 매칭(D-ITM).
• D-VLC는 다중모달 간 전체 분포 표현을 정렬하여 거시적 수준의 교차모달 이해를 달성한다.
• D-MLM과 D-ITM는 각각 토큰 수준과 전체 수준에서 분포 기반 예측을 사용하여 정렬을 정밀화한다.
• 모델은 VQA, 이미지 검색, 시각적 함의와 같은 다운스트림 작업에서 엔드 투 엔드로 미세조정된다.

실험 결과

연구 질문

• RQ1 다중모달 표현을 확률 분포로 모델링하는 것이 시각-언어 작업에서 의미 이해를 향상시키는가?
• RQ2 분포 표현을 활용한 불확실성 인식 사전학습이 시각-언어 벤치마크에서 다운스트림 성능에 어떤 영향을 미치는가?
• RQ3 어느 정도 분포 표현이 VQA 및 캡션과 같은 작업에서 다양한 타당한 예측을 가능하게 하는가?
• RQ4 D-VLC, D-MLM, D-ITM 중 어떤 사전학습 구성 요소가 모델 성능에 가장 크게 기여하는가?
• RQ5 불확실성 모델링의 통합이 애매한 시각적 및 언어적 맥락에서 애매함을 완화하는가?

주요 결과

• MAP는 이미지-텍스트 검색, VQA2.0, NLVR2, SNLI-VE에서 최신 기준 성능을 달성하여 불확실성 인식 사전학습의 효과성을 입증한다.
• D-MLM 사전학습 작업이 성능 향상에 가장 크게 기여하며, 이 작업을 포함하지 않은 모델은 모든 전략에서 가장 열악한 성능을 보였다.
• 사전학습은 깊이 있는 모델(예: 8층)이 더 잘 일반화되도록 도와주며, 무작위 초기화된 모델에서 관찰된 성능 저하를 극복한다.
• 시각화 결과 분포 표현이 의미적으로 유사한 이미지와 캡션을 함께 군집화하며, 겹치는 타원형은 공통된 의미를 나타낸다.
• 분포 표현에서 샘플링을 통해 동일한 이미지에 대해 다양한 타당한 답변(예: 'field', 'park', 'grass')을 생성할 수 있다. 이는 결정론적 모델이 오직 하나의 답변만 생성하는 것과 대비된다.
• PDE 모듈은 복잡한 관계와 불확실성을 표현할 수 있게 하여, 애매한 상황에서의 강건성을 향상시킨다.