[논문 리뷰] A Simple Framework for Uncertainty in Contrastive Learning

Mike Wu, Noah D. Goodman|arXiv (Cornell University)|2020. 10. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 4

한 줄 요약

이 논문은 사전 훈련된 대조적 표현에서 불확실성 추정을 학습하기 위해 딥 네트워크를 사용해 임베딩을 확률 분포로 매핑하도록 훈련하는 간단한 프레임워크인 딥 불확실성 모델(DUM)을 제안한다. 이는 불확실성 인식 표현 학습을 가능하게 하며, 레이블 없이도 이상 탐지에서 최신 기준 성능(SOTA)을 달성하고(최대 14%p 향상), 분포 외 탐지에서도 경쟁력 있는 성능을 보인다.

ABSTRACT

Contrastive approaches to representation learning have recently shown great promise. In contrast to generative approaches, these contrastive models learn a deterministic encoder with no notion of uncertainty or confidence. In this paper, we introduce a simple approach based on "contrasting distributions" that learns to assign uncertainty for pretrained contrastive representations. In particular, we train a deep network from a representation to a distribution in representation space, whose variance can be used as a measure of confidence. In our experiments, we show that this deep uncertainty model can be used (1) to visually interpret model behavior, (2) to detect new noise in the input to deployed models, (3) to detect anomalies, where we outperform 10 baseline methods across 11 tasks with improvements of up to 14% absolute, and (4) to classify out-of-distribution examples where our fully unsupervised model is competitive with supervised methods.

연구 동기 및 목표

• 정적 대조적 표현 학습 모델에서의 불확실성 추정 부족 문제를 해결하기 위해.
• 불확실성 인식 표현을 통한 해석 가능한 모델 행동 분석을 가능하게 하기 위해.
• 재훈련 없이도 배포된 모델에서 새로운 시각적 손상과 이상 현상을 탐지하기 위해.
• 지도 학습 방법에 비해 경쟁 가능한 성능을 보이는 비지도 분포 외 탐지 수행을 위해.
• SimCLR와 같은 기존 대조적 모델과 호환되는 플러그인 솔루션을 제공하기 위해.

제안 방법

• 사전 훈련된 대조적 임베딩에서 다변량 정규분포(평균 및 분산)를 예측하도록 딥 네트워크를 훈련한다.
• 표현 공간에서 진짜 데이터 분포와 다른 분포를 구별하도록 하는 대조적 목표를 사용한다.
• 진짜 임베딩 분포를 양성으로, 변형되거나 부정적인 분포를 음성으로 간주하는 대조적 손실을 사용해 불확실성 모델을 최적화한다.
• 이면 작업(예: 이상 탐지 및 OOD 탐지)에 대한 신뢰도 점수로 예측된 분산을 활용한다.
• 미세조정 없이 사전 훈련된 표현에 적용 가능하므로 즉시 사용 가능한 불확실성 추정을 가능하게 한다.
• DUM의 분산을 표현의 어려움에 대한 대체 지표로 활용하여 모델 신뢰도의 시각적 해석 가능성을 높인다.

실험 결과

연구 질문

• RQ1 사전 훈련된 대조적 표현 위에 효과적으로 학습 가능한 불확실성 헤드를 적용해 신뢰도를 추정할 수 있는가?
• RQ2 불확실성 추정이 배포된 모델에서 새로운 시각적 노이즈를 탐지하는 데 개선을 이끌 수 있는가?
• RQ3 불확실성 기반 이상 탐지가 다양한 벤치마크에서 기존 SOTA 방법을 초월할 수 있는가?
• RQ4 비지도 불확실성 모델이 지도 학습 기반 OOD 탐지 방법과 비슷한 성능을 달성할 수 있는가?
• RQ5 불확실성은 표현 품질과 모델의 어려움과 어떻게 상관관계가 있는가?

주요 결과

• DUM 프레임워크는 11개의 벤치마크 작업에서 10개의 기준 방법보다 이상 탐지 성능이 최대 14%p 향상되었다.
• 모델은 실제 배포 환경에서 분포 이탈에 강건함을 입증하며, 높은 정확도로 새로운 시각적 노이즈를 탐지한다.
• DUM 기반의 불확실성 측정은 효과적인 시각적 해석 가능성을 제공하며, 고분산 임베딩은 모호하거나 임베딩하기 어려운 예제와 관련이 있다.
• 완전히 비지도로 구동되지만, 표준 벤치마크에서 몇몇 지도 학습 기반 OOD 탐지 방법보다 성능이 뛰어나다.
• DUM가 예측한 분산은 표현의 어려움과 강하게 상관관계가 있으며, 의미 있는 신뢰도 지표를 제공한다.
• 이 방법은 SimCLR와 같은 기존 대조 학습 프레임워크와 호환되며, 사전 훈련된 인코더에 대한 수정이 필요 없다.