[논문 리뷰] UniCLIP: Unified Framework for Contrastive Language-Image Pre-training

Janghyeon Lee, Jong‐Suk Kim외 5명|arXiv (Cornell University)|2022. 09. 27.

Multimodal Machine Learning Applications인용 수 21

한 줄 요약

UniCLIP은 inter- 및 intra-domain 대조 학습을 하나의 임베딩 공간에서 통합하고, augmentation-aware 임베딩, MP-NCE 손실, 도메인 의존적 유사도를 도입하여 다운스트림 작업 전반의 비전–언어 사전 학습을 개선합니다.

ABSTRACT

Pre-training vision-language models with contrastive objectives has shown promising results that are both scalable to large uncurated datasets and transferable to many downstream applications. Some following works have targeted to improve data efficiency by adding self-supervision terms, but inter-domain (image-text) contrastive loss and intra-domain (image-image) contrastive loss are defined on individual spaces in those works, so many feasible combinations of supervision are overlooked. To overcome this issue, we propose UniCLIP, a Unified framework for Contrastive Language-Image Pre-training. UniCLIP integrates the contrastive loss of both inter-domain pairs and intra-domain pairs into a single universal space. The discrepancies that occur when integrating contrastive loss between different domains are resolved by the three key components of UniCLIP: (1) augmentation-aware feature embedding, (2) MP-NCE loss, and (3) domain dependent similarity measure. UniCLIP outperforms previous vision-language pre-training methods on various single- and multi-modality downstream tasks. In our experiments, we show that each component that comprises UniCLIP contributes well to the final performance.

연구 동기 및 목표

• 단일 공간에서 intra-domain 및 inter-domain 대조 손실을 통합하여 데이터 효율적인 비전-언어 사전 학습을 촉진한다.
• 이미지와 텍스트 모듈을 결합할 때 증강으로 인한 불일치를 해결한다.
• 도메인 간 다중 양성 샘플을 균형 있게 다루기 위한 학습 기법을 개발한다.
• 다운스트림 태스크에서 통합 프레임워크의 효과를 입증한다.

제안 방법

• 증강 효과를 벡터로 포착하기 위해 augmentation encoder fA를 사용한다.
• 이미지 인코더 fI를 증강에 대해 무관하게 만들고 투영 헤드 gI를 증강 인식 가능하게 한다.
• 텍스트 인코더 fT와 투영 헤드 gT를 사용하여 텍스트 임베딩을 같은 공간에서 생성한다.
• 도메인별 가중치를 갖는 intra- 및 inter-domain 쌍을 포함하는 다중 양성 쌍을 다루기 위해 MP-NCE 손실를 도입한다.
• 도메인별 온도 및 오프셋이 있는 도메인 의존적 유사도 점수를 채택하여 inter- 및 intra-domain 유사도를 정렬한다.
• Provide a domain-aware similarity measure: s_{i,j} = exp((1/τ_{D(i,j)})(z_i^⊤ z_j / (||z_i|| ||z_j||) - b_{D(i,j)})).

실험 결과

연구 질문

• RQ1 단일의 통합 임베딩 공간이 intra-domain과 inter-domain 대비 목표를 모두 효과적으로 수용할 수 있는가?
• RQ2 증강으로 인한 불일치가 교차 모달 대조 학습에 어떤 영향을 미치고 이를 어떻게 완화할 수 있는가?
• RQ3 증강 인식 임베딩, MP-NCE 손실, 도메인 의존적 유사도가 기존 방법과 비교해 데이터 효율성 및 다운스트림 성능을 개선하는가?
• RQ4 다양한 모달리티와 작업에 걸친 전체 성능에서 각 UniCLIP 구성 요소의 기여는 무엇인가?

주요 결과

• UniCLIP은 다양한 단일 모달리티 및 다중 모달리티 다운스트림 작업에서 기존 비전–언어 사전 학습 방법을 능가한다.
• 실험에서 보인 바와 같이 UniCLIP의 각 구성 요소가 최종 성능에 기여한다.
• MP-NCE는 단일 공간에서 쉽고 어려운 양성 샘플 모두에 대해 안정적인 학습을 가능하게 한다.
• 도메인 의존적 유사도 측정은 서로 다른 도메인 조합이 적절한 유사도 스케일을 갖도록 한다.