[논문 리뷰] Geodesic Multi-Modal Mixup for Robust Fine-Tuning

Changdae Oh, Junhyuk So외 5명|arXiv (Cornell University)|2022. 03. 08.

Multimodal Machine Learning Applications인용 수 11

한 줄 요약

이 논문은 기하학적 보간을 통해 초구 위의 이미지 및 텍스트 임베딩을 활용해 어려운 음성 샘플을 생성함으로써 CLIP와 같은 사전 훈련된 다중모달 모델의 강건성과 전이 가능성(transferability)을 향상시키는 새로운 피취너-튜닝 방법인 Geodesic Multi-Modal Mixup (m²-Mix)을 제안한다. 임베딩 공간 내에서 정렬성(alignment)과 균일성(uniformity)을 향상시킴으로써, m²-Mix는 분포 이탈 상황에서도 검색, 소수 분류, 이미지 캡션 생성 작업 전반에서 최고 성능을 달성한다.

ABSTRACT

Pre-trained multi-modal models, such as CLIP, provide transferable embeddings and show promising results in diverse applications. However, the analysis of learned multi-modal embeddings is relatively unexplored, and the embedding transferability can be improved. In this work, we observe that CLIP holds separated embedding subspaces for two different modalities, and then we investigate it through the lens of uniformity-alignment to measure the quality of learned representation. Both theoretically and empirically, we show that CLIP retains poor uniformity and alignment even after fine-tuning. Such a lack of alignment and uniformity might restrict the transferability and robustness of embeddings. To this end, we devise a new fine-tuning method for robust representation equipping better alignment and uniformity. First, we propose a Geodesic Multi-Modal Mixup that mixes the embeddings of image and text to generate hard negative samples on the hypersphere. Then, we fine-tune the model on hard negatives as well as original negatives and positives with contrastive loss. Based on the theoretical analysis about hardness guarantee and limiting behavior, we justify the use of our method. Extensive experiments on retrieval, calibration, few- or zero-shot classification (under distribution shift), embedding arithmetic, and image captioning further show that our method provides transferable representations, enabling robust model adaptation on diverse tasks. Code: https://github.com/changdaeoh/multimodal-mixup

연구 동기 및 목표

• 사전 훈련된 다중모달 모델(예: CLIP)의 정렬성과 균일성이 열악하여 전이 가능성과 강건성이 제한되는 문제를 해결하기 위해.
• 이미지 및 텍스트 임베딩이 분리된 부분공간을 형성하고 큰 미탐색 간극이 존재하는 CLIP의 이분형 임베딩 공간의 구조적 한계를 탐구하기 위해.
• 초구형 임베딩 공간에서 의미 있는 어려운 음성 샘플을 생성함으로써 표현 품질을 향상시키는 피취너-튜닝 방법을 개발하기 위해.
• 이질적인 모odal 간의 기하학적 보간이 대비 학습에 효과적인 이유를 이론적·실험적으로 정당화하기 위해.
• 소수 분류, 검색, 이미지 캡션 생성 등 다양한 하류 작업에서 방법의 유효성을 검증하기 위해.

제안 방법

• L2 정규화된 이미지 및 텍스트 임베딩 간의 기하학적 보간을 수행하여 초구 위에서 새로운 다양성 있는 음성 샘플을 생성하는 기하학적 다중모달 미크스업(m²-Mix)을 제안한다.
• 혼합된 임베딩을 대비 학습에서 어려운 음성 쌍으로 사용함으로써, 음성 쌍의 곤란함을 명시적으로 높여 정렬성을 향상시킨다.
• 표준 CLIP 대비 학습 손실과 m²-Mix 기반 대비 학습 손실을 결합한 대칭적 대비 손실을 사용하여 정렬성과 균일성을 동시에 최적화한다.
• 온도 스케일링 하에서의 극한 행동 분석을 통해 m²-Mix 샘플의 곤란함을 이론적으로 정당화하며, 최적의 정렬성과 균일성 수렴을 보여준다.
• 다중모달 대비 학습에 적합한 정렬성과 균일성의 수정된 정의를 제안하여 표현 품질의 정량적 분석을 가능하게 한다.
• 기하학적 보간을 통해 혼합된 임베딩이 단위 초구 위에 위치하도록 제약을 두어 안정성과 기하학적 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 CLIP의 사전 훈련된 임베딩 공간은 이분형 구조로 인해 정렬성과 균일성이 열악한데, 이는 피취너-튜닝 후에도 여전히 지속되는가?
• RQ2 이질적인 모달 간(이미지 및 텍스트 간)의 기하학적 보간이 효과적인 어려운 음성 샘플을 생성할 수 있는가?
• RQ3 제안된 m²-Mix 방법은 다중모달 표현 학습에서 정렬성과 균일성을 모두 향상시키는가?
• RQ4 m²-Mix는 분포 이탈 상황에서 하류 전이 가능성과 강건성을 어느 정도 향상시키는가?
• RQ5 표현 품질과 일반화 능력 측면에서, m²-Mix는 온도 기반 재가중 또는 기타 데이터 증강 전략과 비교해 어떻게 성능을 내는가?

주요 결과

• CLIP는 이분형 임베딩 구조로 인해 정렬성과 균일성이 열악하며, 이 한계는 피취너-튜닝 후에도 지속되어 전이 가능성에 제한을 둔다.
• m²-Mix는 긍정 쌍과 매우 유사한 어려운 음성 샘플을 생성하여 정렬을 위한 강력한 학습 신호를 제공한다.
• 이론적 분석 결과, 대용량 배치 설정 하에서 m²-Mix는 점차적으로 균일성을 최대화하며 최적의 균일성 행동으로 수렴함을 보여준다.
• 광범위한 실험을 통해 m²-Mix는 분포 이탈 상황에서도 제로샷 및 소수 분류 성능을 향상시키며, 표준 피취너-튜닝 및 온도 기반 기준 모델을 능가함을 입증한다.
• m²-Mix는 검색 및 이미지 캡션 베이스라인에서 최고 성능을 기록하여 일반화 능력과 강건성이 향상됨을 시사한다.
• 가상의 혼합 샘플을 통해 효과적인 임베딩 공간을 확장함으로써, m²-Mix는 분포 외 샘플에 대한 강건성을 높인다.