[논문 리뷰] Temperature Schedules for Self-Supervised Contrastive Methods on Long-Tail Data

Anna Kukleva, Moritz Böhle외 3명|arXiv (Cornell University)|2023. 03. 23.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 장수분포 데이터에서 자기지도 대비 학습을 위한 동적 온도 스케줄을 제안하며, 학습 중에 고온과 저온 온도 값을 교차하여 코사인 감쇠를 사용한다. 인스턴스 수준과 그룹 수준의 식별을 번갈아가며 적용함으로써 추가적인 계산 비용 없이도 헤드 및 테일 클래스 모두에서 표현 품질을 향상시킨다. 이 방법은 다양한 데이터셋과 불균형 비율에서 고정 온도 기반 모델을 일관되게 능가한다.

ABSTRACT

Most approaches for self-supervised learning (SSL) are optimised on curated balanced datasets, e.g. ImageNet, despite the fact that natural data usually exhibits long-tail distributions. In this paper, we analyse the behaviour of one of the most popular variants of SSL, i.e. contrastive methods, on long-tail data. In particular, we investigate the role of the temperature parameter $τ$ in the contrastive loss, by analysing the loss through the lens of average distance maximisation, and find that a large $τ$ emphasises group-wise discrimination, whereas a small $τ$ leads to a higher degree of instance discrimination. While $τ$ has thus far been treated exclusively as a constant hyperparameter, in this work, we propose to employ a dynamic $τ$ and show that a simple cosine schedule can yield significant improvements in the learnt representations. Such a schedule results in a constant `task switching' between an emphasis on instance discrimination and group-wise discrimination and thereby ensures that the model learns both group-wise features, as well as instance-specific details. Since frequent classes benefit from the former, while infrequent classes require the latter, we find this method to consistently improve separation between the classes in long-tail data without any additional computational cost.

연구 동기 및 목표

• 장수분포 데이터 분포에서 대비 학습에서 온도 매개변수 τ의 역할을 분석하는 것.
• τ가 임베딩 공간 내에서 인스턴스 식별과 그룹별 식별 간의 균형에 미치는 영향을 이해하는 것.
• 학습 중에 τ를 동적으로 스케줄링하여 장수분포 데이터셋에 대한 표현 학습을 향상시키는 것.
• 다양한 유형의 작업 전환(식별 유형 간 전환)이 희귀 및 흔한 클래스 양쪽에서 성능 향상에 기여한다는 것을 보여주는 것.

제안 방법

• 학습 에포크 동안 고온에서 저온으로 변화하는 코사인 스케줄을 온도 하이퍼파라미터 τ에 도입한다.
• 평균 거리 최대화 관점에서 대비 손실를 재구성하여 τ가 임베딩 공간의 구조에 미치는 영향을 해석한다.
• 동적 τ를 사용하여 저온일 땐 인스턴스 특징 강조(저온), 고온일 땐 의미적 그룹의 구조 강조(고온)로 번갈아가며 작업한다.
• 모델 아키텍처 변경 없이 MoCo 및 SimCLR와 같은 최신 대비 모델에 적용하며 추가 계산 비용 없이 수행한다.
• CIFAR10-LT, ImageNet-LT 등 다양한 데이터셋과 다양한 불균형 비율에서 성능을 평가한다.
• 고정된 τ, 선형 진동, 스텝 함수, τ의 무작위 샘플링과 같은 대안과 비교한다.

실험 결과

연구 질문

• RQ1 온도 매개변수 τ는 대비 학습에서 인스턴스 수준과 그룹별 식별 간의 균형에 어떻게 영향을 미치는가?
• RQ2 동적 τ 스케줄은 장수분포 데이터 분포에서 표현 품질에 어떤 영향을 미치는가?
• RQ3 왜 고온과 저온 τ 값을 번갈아가며 사용하면 희귀 클래스 성능 향상에 기여하는가?
• RQ4 스케줄 유형(예: 코사인 vs. 선형 vs. 무작위)의 선택이 최종 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 다양한 모델, 데이터셋, 불균형 수준 간에도 일반화 가능한가?

주요 결과

• τ에 대해 코사인 스케줄을 적용하면 CIFAR10-LT 및 ImageNet-LT를 포함한 여러 데이터셋에서 소수의 샘플로 선형 프로브 정확도가 일관되게 향상되며, 고정된 τ=0.2보다 최대 3.98%p 높은 성능을 기록한다.
• 학습을 전체 주기의 약 0.7 지점에서 중단할 경우 최고의 성능를 기록함으로써, 작업 전환에 적합한 시점이 있음을 시사한다.
• 이 방법은 헤드 클래스뿐 아니라 테일 클래스의 표현 품질을 모두 향상시키며, 특히 희귀 클래스에서 더 큰 성과를 기록한다. 이는 강화된 인스턴스 식별 덕분이다.
• 선형 진동, 스텝 함수, τ의 무작위 샘플링과 같은 대안 스케줄보다 동적 τ 스케줄이 뛰어나며, 이는 작업 전환의 시간적 패턴이 매우 중요하다는 것을 시사한다.
• 이 방법은 다양한 하이퍼파라미터 설정과 모델 아키텍처(예: MoCo, SimCLR)에 대해 강건하며, 추가 계산 비용 없이도 성능 향상을 기록한다.
• 분석 결과, 고온 τ는 그룹별 식별과 조밀한 클러스터 형성에 기여하는 반면, 저온 τ는 인스턴스 수준 식별과 임베딩 공간 내 균일성을 증진시킨다.