[논문 리뷰] Multimodal Pretraining Unmasked: Unifying the Vision and Language BERTs.

Emanuele Bugliarello, Ryan Cotterell외 2명|arXiv (Cornell University)|2020. 11. 30.

Multimodal Machine Learning Applications참고 문헌 19인용 수 18

한 줄 요약

이 논문은 단일 스트림 및 双스트림 시각-언어 BERT 모델들을 공통 이론적 프레임워크 아래 통합하며, 훈련 데이터와 초모수들이 모델 간 성능 차이의 대부분을 차지함을 입증하고, 다중모odal 사전학습에서 임bedding 레이어의 핵심적 역할을 부각한다. 본 연구는 다섯 개의 V&L BERT 모델에 대한 통제된 실험을 통해 실증적 통찰을 제공한다.

ABSTRACT

Large-scale pretraining and task-specific fine-tuning is now the standard methodology for many tasks in computer vision and natural language processing. Recently, a multitude of methods have been proposed for pretraining vision and language BERTs to tackle challenges at the intersection of these two key areas of AI. These models can be categorized into either single-stream or dual-stream encoders. We study the differences between these two categories, and show how they can be unified under a single theoretical framework. We then conduct controlled experiments to discern the empirical differences between five V&L BERTs. Our experiments show that training data and hyperparameters are responsible for most of the differences between the reported results, but they also reveal that the embedding layer plays a crucial role in these massive models.

연구 동기 및 목표

• 단일 스트림 및 이중 스트림 시각-언어 BERT 아키텍처 간 이론적 및 실증적 차이를 이해하는 것.
• 다중모달 사전학습을 위한 단일 이론적 프레임워크 아래 두 유형을 통합하는 것.
• 훈련 데이터, 초모수, 모델 구성 요소—특히 임베딩 레이어—의 성능에 미치는 영향을 분리하여 분석하는 것.
• 다섯 가지 다른 V&L BERT 모델을 비교하는 통제된 실험을 수행하여 성능 변동의 주요 원인을 규명하는 것.

제안 방법

• 저자는 단일 스트림 및 이중 스트림 인코더 아키텍처를 모두 포함하는 통합 이론적 프레임워크를 개발한다.
• 모든 구성 요소를 동일하게 유지하면서 아키텍처 유형과 훈련 설정만을 변화시켜 다섯 개의 V&L BERT 모델에 대한 통제된 아블레이션 연구를 수행한다.
• 임베딩 레이어의 기여도를 분석함으로써 그 디자인과 최종 성능에 미치는 영향을 고립한다.
• 초모수 및 데이터 분포의 영향을 체계적으로 평가하여 그 영향력을 규명한다.
• 통제 조건 하에서 표준 벤치마크를 기반으로 실증적 비교를 수행하여 성능 차이를 측정한다.

실험 결과

연구 질문

• RQ1 단일 스트림 및 이중 스트림 시각-언어 BERT는 잠재적인 인덕티브 바이어스와 성능 특성에서 어떻게 다를까?
• RQ2 훈련 데이터와 초모수가 V&L BERT 모델 간 성능 변동을 어느 정도 설명하는가?
• RQ3 임베딩 레이어는 다중모달 사전학습 모델의 성공에 어떤 역할을 하는가?
• RQ4 단일 스트림 및 이중 스트림 아키텍처는 공통 이론적 프레임워크 아래 공식적으로 통합될 수 있는가?

주요 결과

• 훈련 데이터와 초모수가 V&L BERT 모델 간 성능 차이의 주요 원인이며, 아키텍처 선택보다 앞선다.
• 임베딩 레이어는 모델 행동과 성능에 상당한 영향을 미치며, 다중모달 표현 학습에서의 핵심적 역할을 나타낸다.
• 아키텍처적 차이가 있음에도 불구하고, 단일 이론적 프레임워크 아래 단일 스트림 및 이중 스트림 모델은 통합될 수 있으며, 공통된 인덕티브 바이어스를 드러낸다.
• 통제된 실험 결과, 모델 간 보고된 성능 격차는 종종 아키텍처적 우월성보다는 훈련 변동에 기인함을 확인했다.