[논문 리뷰] Decoupling the Role of Data, Attention, and Losses in Multimodal Transformers

Lisa Anne Hendricks, John Mellor외 3명|arXiv (Cornell University)|2021. 01. 31.

Multimodal Machine Learning Applications참고 문헌 43인용 수 12

한 줄 요약

이 논문은 다중모달 트랜스포머에서 사전 훈련 데이터, 어텐션 메커니즘, 손실 함수의 역할을 제로샷 이미지 검색 설정에서 조사한다. 연구 결과, 크기보다는 데이터 품질—특히 언어의 일관성과 이미지-텍스트 정렬—이 더 중요하며, 성능 향상에 다중모달 어텐션 메커니즘이 필수적임을 확인했고, 이 설정에서는 대비 손실 함수가 유의미한 이점을 제공하지 못함을 발견했다. 간단한 분류 손실 함수가 종종 충분함을 확인했다.

ABSTRACT

Recently multimodal transformer models have gained popularity because their performance on language and vision tasks suggest they learn rich visual-linguistic representations. Focusing on zero-shot image retrieval tasks, we study three important factors which can impact the quality of learned representations: pretraining data, the attention mechanism, and loss functions. By pretraining models on six datasets, we observe that dataset noise and language similarity to our downstream task are important indicators of model performance. Through architectural analysis, we learn that models with a multimodal attention mechanism can outperform deeper models with modality specific attention mechanisms. Finally, we show that successful contrastive losses used in the self-supervised learning literature do not yield similar performance gains when used in multimodal transformers

연구 동기 및 목표

• 사전 훈련 데이터, 어텐션 메커니즘, 손실 함수가 다중모달 트랜스포머의 표현 품질에 미치는 영향를 이해하는 것.
• 데이터 노이즈와 다운스트림 작업과의 언어 유사성이 모델 성능을 예측하는 데 얼마나 중요한지 평가하는 것.
• 다중모달 어텐션 메커니즘이 모ality별 전용 어텐션 메커니즘보다 더 효과적인지 판단하는 것.
• 대비 손실 함수가 분류 손실 함수보다 다중모달 트랜스포머의 성능 향상에 더 효과적인지 평가하는 것.
• 이미지 전용 또는 언어 전용 사전 훈련이 다중모달 모델 성능 향상에 실제로 기여하는지 조사하는 것.

제안 방법

• 다양한 크기와 노이즈 수준을 가진 이미지-텍스트 데이터셋을 사용해 여섯 개의 다중모달 트랜스포머 모델을 사전 훈련했다.
• 다중모달(모odal 간 크로스 어텐션), 공통 어텐션(모달 전용 어텐션), 크로스 어텐션 없음의 세 가지 다른 어텐션 메커니즘을 가진 모델을 비교했다.
• 대비 매칭 손실 함수와 단일 음성 예제를 쌍당 하나씩 사용하는 표준 분류 손실 함수를 모두 사용해 모델을 훈련했다.
• 학습된 표현의 일반화 능력을 측정하기 위해 미사용 데이터셋에서 제로샷 이미지 검색 성능을 평가했다.
• 어텐션 아키텍처와 손실 함수의 영향을 분리하기 위해 통제된 아블레이션 스터디를 실시했다.
• 어텐션 헤드 분포와 특징 정렬에 중점을 두고, 프로빙 및 아키텍처 분석을 통해 모델 행동을 분석했다.

실험 결과

연구 질문

• RQ1 데이터셋 크기와 노이즈 수준은 다중모달 트랜스포머의 제로샷 성능에 어떤 영향을 미치는가?
• RQ2 표현 품질 측면에서 다중모달 어텐션은 모달 전용 어텐션 메커니즘보다 우월한가?
• RQ3 다중모달 표현 학습 향상에 있어 대비 손실 함수가 분류 손실 함수보다 더 효과적인가?
• RQ4 이미지 전용 또는 언어 전용 사전 훈련 구성 요소가 최종 성능에 얼마나 기여하는가?
• RQ5 다중모달 어텐션을 가진 작은 모델이 더 깊은 아키텍처와 다른 어텐션 유형을 가진 더 큰 모델을 따라잡거나 초월할 수 있는가?

주요 결과

• 데이터 노이즈와 다운스트림 작업과의 언어 유사성이 데이터셋 크기보다 모델 성능 예측에 더 강력한 예측 변수이다.
• 다중모달 어텐션을 가진 모델은 더 깊거나 파rameter가 더 많은 모달 전용 어텐션 메커니즘을 가진 모델들보다 성능이 뛰어나다.
• 대비 손실 함수는 다중모달 트랜스포머에서는 성능 향상이 거의 없으며, 다중모달 어텐션을 갖지 않은 모델에서는 유의미한 이점을 제공한다.
• 쌍당 하나의 음성 예제를 사용하는 간단한 분류 손실 함수가 경쟁력 있는 성능을 달성하여, 어려운 음성 예제 샘플링이나 대규모 대비 목표 함수가 필요 없음을 확인했다.
• 이미지 전용 사전 훈련과 마스킹 영역 모델링 손실 함수는 성능 향상에 거의 기여하지 않으며, 이는 현재 손실 공식화가 시각 신호를 충분히 활용하지 못하고 있음을 시사한다.
• 언어 전용 사전 훈련은 성능 향상에 뚜렷한 기여를 하지 않으며, 이는 공동 다중모달 사전 훈련이 강력한 표현을 생성하는 데 충분하다는 것을 의미한다.