[논문 리뷰] Understanding Contrastive Learning via Distributionally Robust Optimization

Junkang Wu, Jiawei Chen외 4명|arXiv (Cornell University)|2023. 10. 17.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

논문은 분포론적 강건화(DRO)를 통해 대조학습(contrastive learning)의 동작을 분석하고, CL이 음수 샘플링 분포에 대해 DRO처럼 작동함을 보이며, 이미지, 문장, 그래프 도메인에서 보수주의성 및 이상치 민감도를 완화하기 위해 ADNCE를 도입합니다.

ABSTRACT

This study reveals the inherent tolerance of contrastive learning (CL) towards sampling bias, wherein negative samples may encompass similar semantics (\eg labels). However, existing theories fall short in providing explanations for this phenomenon. We bridge this research gap by analyzing CL through the lens of distributionally robust optimization (DRO), yielding several key insights: (1) CL essentially conducts DRO over the negative sampling distribution, thus enabling robust performance across a variety of potential distributions and demonstrating robustness to sampling bias; (2) The design of the temperature $τ$ is not merely heuristic but acts as a Lagrange Coefficient, regulating the size of the potential distribution set; (3) A theoretical connection is established between DRO and mutual information, thus presenting fresh evidence for ``InfoNCE as an estimate of MI'' and a new estimation approach for $ϕ$-divergence-based generalized mutual information. We also identify CL's potential shortcomings, including over-conservatism and sensitivity to outliers, and introduce a novel Adjusted InfoNCE loss (ADNCE) to mitigate these issues. It refines potential distribution, improving performance and accelerating convergence. Extensive experiments on various domains (image, sentence, and graphs) validate the effectiveness of the proposal. The code is available at \url{https://github.com/junkangwu/ADNCE}.

연구 동기 및 목표

• CL이 샘플링 편향에 강건한 이유를 동기화하고 온도 매개변수 τ의 역할을 이해한다.
• CL이 φ-발산(BKL 이상) 제약 하에 음수 샘플링 분포에 대한 DRO를 구현한다는 것을 보여준다.
• DRO, 상호정보량, InfoNCE를 MI 추정으로서 이론적으로 연결한다.
• DRO 하에서 CL의 한계(과도한 보수성, 이상치) 식별 및 보정 방법 제안한다.

제안 방법

• 음수 샘플들에 대한 φ-발산 제약을 가지는 DRO 목표로 CL-DRO를 정의한다.
• KL 기반 CL-DRO 목표를 InfoNCE 손실과 연결하고 τ를 Lagrange 승수로 작용하는 온도로 식별한다.
• CL-DRO의 평균-분산 해석을 도출하여 분산 제어가 DRO의 부산물임을 보인다.
• ϕ-발산으로 일반화하여 CL-DRO를 ϕ-발산 기반 상호정보량(Iϕ)과 연결한다.
• 보수성을 줄이고 이상치에 대한 민감도를 낮추기 위해 가우시안 유사 가중치를 갖는 음수를 재가중치하여 ADNCE를 제안한다.
• 이미지, 문장, 그래프 모달리티 전반에 걸친 실증 검증을 제공한다.

실험 결과

연구 질문

• RQ1 음성: 음수 샘플에서의 샘플링 편향에 대해 대조학습은 왜 내성이 있는가?
• RQ2 CL에서 온도 τ의 DRO 관점에서의 정확한 역할은 무엇인가?
• RQ3 DRO와 상호정보량은 CL 맥락에서 어떻게 연결되는가?
• RQ4 음수 분포가 보수성을 완화하고 이상치를 다루도록 조정되면 CL을 개선할 수 있는가?

주요 결과

• CL은 음수 샘플링 분포에 대한 DRO를 최적화하여 샘플링 편향에 대한 강건성을 향상시킨다.
• τ는 잠재 분포 집합의 크기(강건 반경)를 제어하는 라그랑주 계수 역할을 한다.
• InfoNCE는 ϕ-발산 기반 상호정보량의 타이트한 변분 형태와 연결되며 MI 추정을 일반화한다.
• 평균-분산 해석은 CL이 음수 샘플에 대한 분산 규제를 도입하여 안정성을 돕는 것을 보여준다.
• ADNCE는 가우시안 유사 가중치를 가진 최악의 분포를 재구성해 보수성을 줄이고 이상치에 대한 민감도를 낮추며 수렴과 성능을 개선한다. 이미저, 문장, 그래프 벤치마크에서 ADNCE의 효과를 실증적으로 입증한다.
• 실증적 결과는 ADNCE의 이미지, 문장, 그래프 벤치마크에서의 효과를 보여준다.