[논문 리뷰] Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

Tongzhou Wang, Phillip Isola|arXiv (Cornell University)|2020. 05. 20.

Domain Adaptation and Few-Shot Learning인용 수 512

한 줄 요약

논문은 표현을 구면에서 평가하기 위한 두 가지 지표—정렬(alignment)와 균일성(uniformity)—를 정의하고 대조 학습 손실이 점근적으로 이를 최적화한다는 것을 증명한다; 또한 이러한 지표를 직접 최적화하면 강력한 다운스트림 성능이 나온다는 것을 보이며, 때때로 표준 대조 방법을 능가한다는 점도 보인다.

ABSTRACT

Contrastive representation learning has been outstandingly successful in practice. In this work, we identify two key properties related to the contrastive loss: (1) alignment (closeness) of features from positive pairs, and (2) uniformity of the induced distribution of the (normalized) features on the hypersphere. We prove that, asymptotically, the contrastive loss optimizes these properties, and analyze their positive effects on downstream tasks. Empirically, we introduce an optimizable metric to quantify each property. Extensive experiments on standard vision and language datasets confirm the strong agreement between both metrics and downstream task performance. Remarkably, directly optimizing for these two metrics leads to representations with comparable or better performance at downstream tasks than contrastive learning. Project Page: https://tongzhouwang.info/hypersphere Code: https://github.com/SsnL/align_uniform , https://github.com/SsnL/moco_align_uniform

연구 동기 및 목표

• 양성 쌍의 정렬과 구면에서의 균일성이라는 대조 표현의 두 가지 핵심 성질을 동기 부여하고 형식화한다.
• 정렬과 균일성에 대한 계산 가능한 지표를 이론적 근거와 함께 제시한다.
• 대조 손실이 정렬과 균일성 목표에 점근적으로 수렴하는 것을 보인다.
• 정렬과 균일화를 정밀하게 맞추는 것이 하위 작업에서의 성능과 상관관계가 있으며 개선한다는 것을 경험적으로 검증한다.
• 두 지표를 직접 최적화하는 것이 실제로 기존의 대조 학습과 견주어 형식과 성능 면에서 일치하거나 능가할 수 있는지 평가한다.

제안 방법

• 정규화를 통해 구면상에서 단위 노름 특성으로 표현을 모델링한다.
• 정렬 손실을 양성 쌍 특징 간의 기대 거리로 정의한다.
• 구면상 특징 간의 평균 가우시안 포텐셜의 로그를 통해 균일성 손실을 정의한다.
• 음수 예시의 수가 증가함에 따라 대조 손실이 정렬을 최적화하는 형태로 수렴한다는 것을 보인다.
• 균일성 목표를 가우시안 포텐셜 최소화 및 엔트로피/MI 해석과 연결시킨다.
• 두 지표의 실용적 PyTorch 구현을 제공하고 여러 데이터셋과 베이스라인에서 평가한다.

실험 결과

연구 질문

• RQ1 정렬과 균일성이 대조 학습으로 생성된 표현의 품질 측면을 충분히 포착하는가?
• RQ2 대조 손실이 단위 구면에서 점근적으로 정렬과 균일성을 최적화하는가?
• RQ3 정렬과 균일성을 직접 최적화하면 다운스트림 작업에서 표준 대조 학습으로 얻는 표현과 일치하거나 능가하는가?
• RQ4 비전 및 언어 벤치마크 전반에 걸쳐 이러한 지표가 다운스트림 작업 성능과 어떤 상관관계를 보이는가?

주요 결과

손실 공식	출력+선형	출력+5-NN	fc7+선형	fc7+5-NN
Best contrastive loss (tau=0.19)	80.46%	78.75%	83.89%	76.33%
Best alignment+uniformity	81.15%	78.89%	84.43%	76.78%
Best among all encoders	81.06%	79.05%	84.14%	76.48%

• 대조 표현은 강한 정렬(양성 쌍 간의 낮은 거리)과 균일성(구면에서의 거의 균일한 분포)을 보인다.
• 음성 샘플이 증가함에 따라 대조 손실은 정렬을 촉진하는 형태로 수렴하고, 완전한 균일성이 존재할 때 구면에서의 균일 분포에 해당한다.
• 제안된 정렬 및 균일성 지표가 벤치마크를 통해 다운스트림 작업 성능과 강하게 일치한다.
• 정렬과 균일성을 직접 최적화하면 여러 설정에서 기존의 대조 학습에 비해 경쟁력 있거나 우수한 다운스트림 성능을 낳는다.
• 정렬과 균일성 손실만으로 최적화된 인코더가 표준 대조 목표로 훈련된 인코더보다 보고된 실험에서 우수하다.
• 정렬과 균일성을 모두 개선하는 것이 다운스트림 작업 정확도를 향상시킨다는 인과적 증거가 있다.