[논문 리뷰] Understanding the Behaviour of Contrastive Loss

Feng Wang, Huaping Liu|arXiv (Cornell University)|2020. 12. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 24

한 줄 요약

이 논문은 자기지도 학습에서 대비 손실의 거동을 조사하여, 온도 조절을 통해 딱딱한 음성 샘플을 우선시하는 경향을 보이는 경중성 인식 손실임을 밝혀냈다. 이는 균일성-내성의 역설을 드러내는데, 높은 균일성이 특징의 분리 가능성을 향상시키지만, 의미적으로 유사한 샘플에 대한 과도한 페널티가 후행 작업 성능을 악화시킨다. 주요 기여는 균일성과 내성을 균형 있게 조절함으로써 최적의 성능을 달성할 수 있음을 보여주는 것으로, CIFAR 및 ImageNet 벤치마크에서 0.2–0.3 범위의 온도 조절이 가장 좋은 결과를 낸다.

ABSTRACT

Unsupervised contrastive learning has achieved outstanding success, while the mechanism of contrastive loss has been less studied. In this paper, we concentrate on the understanding of the behaviours of unsupervised contrastive loss. We will show that the contrastive loss is a hardness-aware loss function, and the temperature τ controls the strength of penalties on hard negative samples. The previous study has shown that uniformity is a key property of contrastive learning. We build relations between the uniformity and the temperature τ . We will show that uniformity helps the contrastive learning to learn separable features, however excessive pursuit to the uniformity makes the contrastive loss not tolerant to semantically similar samples, which may break the underlying semantic structure and be harmful to the formation of features useful for downstream tasks. This is caused by the inherent defect of the instance discrimination objective. Specifically, instance discrimination objective tries to push all different instances apart, ignoring the underlying relations between samples. Pushing semantically consistent samples apart has no positive effect for acquiring a prior informative to general downstream tasks. A well-designed contrastive loss should have some extents of tolerance to the closeness of semantically similar samples. Therefore, we find that the contrastive loss meets a uniformity-tolerance dilemma, and a good choice of temperature can compromise these two properties properly to both learn separable features and tolerant to semantically similar samples, improving the feature qualities and the downstream performances.

연구 동기 및 목표

• 자기지도 표현 학습에서 대비 손실의 행동 메커니즘을 이해하기 위해.
• 온도 τ가 딱딱함 인식 능력과 임bedding 분포 특성에 미치는 영향을 분석하기 위해.
• 임베딩 분포의 균일성과 의미적으로 유사한 샘플에 대한 내성 간의 상충 관계를 규명하기 위해.
• 인스턴스 식별 목적이 본질적으로 유사한 샘플을 떨어지게 하여 의미적 구조를 손상시킨다는 것을 보여주기 위해.

제안 방법

• 온도 τ가 딱딱한 음성 샘플에 대한 페널티 강도를 조절함으로써 대비 손실을 딱딱함 인식 함수로 분석하기 위해.
• 임베딩의 균일성과 의미적으로 유사한 샘플에 대한 내성에 영향을 미치는 온도 τ를 프록시로 사용하여 영향을 연구하기 위해.
• Eq 10과 Eq 11을 각각 사용하여 CIFAR10, CIFAR100, SVHN, ImageNet100에서 균일성과 내성을 측정하기 위해.
• 표준 대비 손실(Eq 1)과 딱딱한 대비 손실(Eq 9)을 사용하여 다양한 τ 설정에서의 성능을 비교하기 위해.
• 다양한 데이터셋에서 후행 작업 성능의 프록시로 선형 분류 정확도를 평가하기 위해.
• 온도 스케일링이 없는 단순한 대비 손실(Eq 3, τ→∞)과 이를 비교함으로써 딱딱함 인식의 중요성을 분리하기 위해.

실험 결과

연구 질문

• RQ1 온도 τ는 대비 손실의 딱딱함 인식 능력에 어떻게 영향을 미쳐 분리 가능한 특징을 학습하는가?
• RQ2 대비 학습에서 임베딩 분포의 균일성과 의미적으로 유사한 샘플에 대한 내성 간의 상충 관계는 무엇인가?
• RQ3 특징의 분리 가능성을 향상시키지만, 균일성의 과도한 추구가 특징 품질을 떨어뜨리고 후행 작업 성능을 악화시키는 이유는 무엇인가?
• RQ4 명시적인 딱딱한 음성 샘플 추출을 결합한다면, 온도 스케일링이 없는 단순한 대비 손실이 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 인스턴스 식별 목적이 대비 학습에서 기초적인 의미적 구조를 어떻게 유지하지 못하는가?

주요 결과

• CIFAR10, CIFAR100, SVHN, ImageNet100에서 온도 τ = 0.2 또는 0.3로 훈련된 모델이 선형 분류 정확도가 가장 높게 나타나, 균일성과 내성 간의 최적 균형이 이루어졌음을 시사한다.
• 작은 온도(예: τ=0.07)는 극도로 균일한 분포를 초래하지만 의미적으로 유사한 샘플에 대해 과도하게 페널티를 가해 특징 품질을 악화시킨다.
• 큰 온도(예: τ=0.2)는 유사한 샘플에 대한 내성을 높이지만 균일성을 감소시켜 특징의 분리 가능성은 떨어지게 한다.
• 표준 대비 손실(Eq 1)을 사용하고 τ=0.2로 설정하면 CIFAR10에서 83.27%의 선형 정확도를 기록하며, 딱딱함 인식이 없는 단순한 손실(74.83%)보다 우수한 성능을 보였다.
• 명시적인 딱딱한 음성 샘플 추출을 통해 단순한 대비 손실(Eq 3)이 경쟁 가능한 결과(95.47% on SVHN)를 달성할 수 있었으며, 이는 딱딱함 인식이 성공의 핵심임을 입증한다.
• 딱딱한 대비 손실(Eq 9)은 균일성-내성의 역설을 완화시키며, 더 큰 τ에서도 성능 향상을 이끌 수 있었는데, 이는 명시적인 샘플 추출을 통해 균일성을 유지하기 때문이다.