[논문 리뷰] Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning

Weixin Liang, Yuhui Zhang외 3명|arXiv (Cornell University)|2022. 03. 03.

Multimodal Machine Learning Applications인용 수 98

한 줄 요약

논문은 다중 모달 대조 표현에서 모달리티 격차를 식별하고 이를 초기화로 인한 원뿔 효과(cone effect)에서 기인하고 대조 학습에 의해 강화된다는 점을 설명한다; 격차를 조작하면 제로샷 성능과 공정성에 영향을 줄 수 있다.

ABSTRACT

We present modality gap, an intriguing geometric phenomenon of the representation space of multi-modal models. Specifically, we show that different data modalities (e.g. images and text) are embedded at arm's length in their shared representation in multi-modal models such as CLIP. Our systematic analysis demonstrates that this gap is caused by a combination of model initialization and contrastive learning optimization. In model initialization, we show empirically and theoretically that the representation of a common deep neural network is restricted to a narrow cone. As a consequence, in a multi-modal model with two encoders, the representations of the two modalities are clearly apart when the model is initialized. During optimization, contrastive learning keeps the different modalities separate by a certain distance, which is influenced by the temperature parameter in the loss function. Our experiments further demonstrate that varying the modality gap distance has a significant impact in improving the model's downstream zero-shot classification performance and fairness. Our code and data are available at https://modalitygap.readthedocs.io/

연구 동기 및 목표

• 여러 모달리티와 아키텍처 전반에 걸쳐 모달리티 격차가 존재함을 입증한다.
• 모달리티 격차의 세 가지 구성 메커니즘을 설명한다: 초기화로 인한 원뿔 효과, 무작위 원뿔의 차이, 그리고 대조 학습이 격차를 보존하는 방식.
• 격차 간격을 다양하게 조정했을 때 하위 작업의 제로샷 성능과 공정성에 어떤 영향을 미치는지 보여준다.

제안 방법

• 콘 모양의 임베딩 공간을 드러내기 위한 임베딩의 실증적 시각화(예: UMAP).
• 레이어 간 원뿔 동작의 이론적 분석과 비선형 활성화가 코사인 유사도에 미치는 영향.
• 무작위 초기화가 서로 다른 임베딩 원뿔을 생성하고 이것이 모달리티 격차에 미치는 영향 분석.
• 온도와 격차가 최적화에 미치는 영향을 연구하기 위한 CLIP의 손실 지형 탐색.
• 격차를 닫거나 넓히는 것이 대조 손실에 미치는 영향을 평가하기 위한 임베딩 시프트 실험.
• 온도 영향과 격차 조작을 살펴보기 위한 제어 시뮬레이션 및 미세 조정.

실험 결과

연구 질문

• RQ1 다중 모달 대조 모델에서 서로 다른 모달리티와 아키텍처 전반에 모달리티 격차가 존재합니까?
• RQ2 격차를 생성하고 유지하는 메커니즘은 무엇입니까(초기화 원추 효과, 무작위 원추 변 variation, 대조 학습의 다이나믹스)?
• RQ3 모달리티 격차 간격을 바꾸면 하류 제로샷 성능과 공정성 지표에 어떤 영향을 미칩니까?

주요 결과

• 이미지와 텍스트의 임베딩 공간은 무작위 초기화나 무작위 노이즈 입력에도 불구하고 좁은 원뿔 안에 존재한다.
• 서로 다른 무작위 초기화는 서로 다른 원뿔을 형성하여 다중 인코더 모델에서 초기화 시 모달리티 격차를 설명한다.
• 더 깊은 계층과 비선형성이 코사인 유사도를 증폭시켜 원뿔의 좁아짐(원뿔 효과)을 증가시킨다.
• 대조 학습은 보편적으로 모달리티 격차를 보존하는 경향이 있으며, 온도가 손실 지형에서 격차의 반발 구조에 영향을 준다.
• 격차 간격을 조작하면 여러 작업에서 제로샷 분류 성능과 공정성을 향상시킬 수 있지만 작업과 온도에 따라 효과가 달라진다.