[논문 리뷰] Temperature as Uncertainty in Contrastive Learning

Oliver Zhang, Mike Wu외 2명|arXiv (Cornell University)|2021. 10. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 9

한 줄 요약

이 논문은 온도 하이퍼파ram터를 학습된 임bedding 신뢰도 측정치로 재해석함으로써, 대조적 표현 학습에서 입력에 따라 달라지는 불확실성 점수를 생성하는 Temperature as Uncertainty (TaU)를 제안한다. 온도를 입력에 따라 변화시킴으로써 TaU는 하류 작업에서 성능 저하를 최소화하면서도 분포 외 탐지 기능을 제공할 수 있으며, 재학습 없이도 사전 학습된 모델에 사후적으로 적용할 수 있다.

ABSTRACT

Contrastive learning has demonstrated great capability to learn representations without annotations, even outperforming supervised baselines. However, it still lacks important properties useful for real-world application, one of which is uncertainty. In this paper, we propose a simple way to generate uncertainty scores for many contrastive methods by re-purposing temperature, a mysterious hyperparameter used for scaling. By observing that temperature controls how sensitive the objective is to specific embedding locations, we aim to learn temperature as an input-dependent variable, treating it as a measure of embedding confidence. We call this approach "Temperature as Uncertainty", or TaU. Through experiments, we demonstrate that TaU is useful for out-of-distribution detection, while remaining competitive with benchmarks on linear evaluation. Moreover, we show that TaU can be learned on top of pretrained models, enabling uncertainty scores to be generated post-hoc with popular off-the-shelf models. In summary, TaU is a simple yet versatile method for generating uncertainties for contrastive learning. Open source code can be found at: https://github.com/mhw32/temperature-as-uncertainty-public.

연구 동기 및 목표

• 안전 중심 응용 분야에서의 실질적 도입을 제한하는 대조적 표현 학습에서의 불확실성 추정 부족 문제를 해결하기 위해.
• 일반적으로 고정 스칼라로 간주되는 온도 하이퍼파ram터가 입력에 따라 달라지는 학습된 측도로 재사용될 수 있는지 탐색하기 위해.
• 메인 인코더를 재학습하지 않고도 불확실성 추정을 가능하게 하여 기존의 상용 체크포인트에 사후적으로 적용할 수 있도록 하기 위해.
• TaU가 표준 하류 벤치마크에서의 경쟁성 있는 성능을 유지하면서도 분포 외 탐지 성능을 향상시키는지 평가하기 위해.

제안 방법

• 대조 학습에서의 온도 하이퍼파ram터 τ를 입력에 따라 달라지는 변수로 재사용하여, 각 입력 x에 대해 τ(x)를 출력하는 신경망 헤드를 통해 학습한다.
• SimCLR나 MoCo-v2와 같은 대조 손실을 수정하여, 고정된 τ 대신 τ(t(x_i))를 사용한다. 여기서 t(x_i)는 입력 x_i의 변환된 뷰이다.
• 임베딩 f(x)와 역온도 τ(x)를 동시에 출력하도록 인코더 네트워크를 학습하며, τ(x)는 양의 값을 보장하기 위해 시그모이드 스케일드 헤드를 통해 예측한다.
• 역온도 τ(x)를 불확실성의 대체 측정치로 사용한다: 높은 τ는 높은 불확실성(더 관용적인 손실)을 의미하고, 낮은 τ는 높은 자신감을 의미한다.
• 고정된 특징 위에 작은 어댑터 헤드를 피니튜닝하여, 사전 학습된 모델에 대해 사후적으로 불확실성 추정을 가능하게 하기 위해 TaU를 적용한다.
• 예측된 τ(x)를 사용하여 불확실성 인식 유사도 점수를 계산하고, 벤치마크 데이터셋에서 AUROC를 통해 분포 외 탐지 성능을 평가한다.

실험 결과

연구 질문

• RQ1 대조 학습에서의 온도 하이퍼파ram터가 입력에 따라 달라지는 학습된 측도로 재해석될 수 있는가?
• RQ2 입력에 따라 온도를 학습하는 것이 고정 온도 기반 베이스라인 대비 분포 외 탐지 성능을 향상시키는가?
• RQ3 메인 인코더를 재학습하지 않고도 사전 학습된 대조적 모델에 불확실성 추정을 효과적으로 추가할 수 있는가?
• RQ4 표준 대조 모델과 고정 온도를 사용할 때의 하류 선형 평가 정확도에 비해 TaU는 어떻게 비교되는가?
• RQ5 TaU는 특히 훈련 분포에서 의미적으로 거리가 먼 분포 외 데이터에 대해 잘 일반화되는가?

주요 결과

• TaU는 ensembling 및 베이지안 사후 확률과 같은 기존 불확실성 추정 방법들을 초월하여 분포 외 탐지 성능을 높이며, 특히 SVHN와 같이 거리가 먼 분포 외 데이터셋에서 기존 방법들보다 AUROC 기준 13% 높은 성능을 기록한다.
• CIFAR100과 TinyImageNet에서 TaU는 SimCLR + kNN와 같은 모든 기준 모델과 유사하거나 略적으로 뛰어나며, 0.5–2%의 성능 격차를 보인다.
• 표준 SimCLR와 MoCo-v2에 비해 선형 평가 정확도에서 오직 2–3%p의 감소만을 보이며, 하류 작업에서의 성능 손실가 최소화됨을 시사한다.
• TaU는 사전 학습된 모델(예: 지도 학습, SimCLR, BYOL, CLIP)에 대해 사후적으로 성공적으로 적용될 수 있으며, 지도 학습 또는 SimCLR 특징을 사용할 경우 CIFAR10에서 AUROC 0.913, SVHN에서 0.978의 높은 성능을 기록한다.
• CLIP 임베딩은 TaU를 적용해도 분포 외 탐지 성능이 열악하다 (AUROC ~0.05)는 점에서 모델별 제약 또는 분포 불일치 문제를 보이며, COCO나 LSUN에서는 양호한 성능을 기록한다.
• 온도를 학습하는 데에 부적합한 NCE 기반 목표 함수를 사용하는 대조 프레임워크(예: SimSiam, BYOL)에서는 이 방법이 효과적이지 않음을 확인하여, 제한 사항이 있음을 시사한다.