[논문 리뷰] Contrastive Training for Improved Out-of-Distribution Detection

Jim Winkens, Rudy Bunel외 11명|arXiv (Cornell University)|2020. 07. 10.

Anomaly Detection Techniques and Applications참고 문헌 39인용 수 52

한 줄 요약

이 논문은 대비 학습을 이용해 명시적 OOD 예시 없이도 OOD 탐지를 향상시키며, 여러 벤치마크에서 최첨단 AUROC를 달성하고 OOD 난이도를 정량화하기 위한 Confusion Log Probability(CL P)을 도입합니다.

ABSTRACT

Reliable detection of out-of-distribution (OOD) inputs is increasingly understood to be a precondition for deployment of machine learning systems. This paper proposes and investigates the use of contrastive training to boost OOD detection performance. Unlike leading methods for OOD detection, our approach does not require access to examples labeled explicitly as OOD, which can be difficult to collect in practice. We show in extensive experiments that contrastive training significantly helps OOD detection performance on a number of common benchmarks. By introducing and employing the Confusion Log Probability (CLP) score, which quantifies the difficulty of the OOD detection task by capturing the similarity of inlier and outlier datasets, we show that our method especially improves performance in the `near OOD' classes -- a particularly challenging setting for previous methods.

연구 동기 및 목표

• 실제 운영 환경에서의 강건한 OOD 탐지를 위해 분포 내 데이터만으로 학습된 더 풍부하고 작업-무관한 표현을 얻어 실전 적용성을 높인다.
• 대비 학습을 활용해 아직 분포 내 변화와 잠재적 OOD 변화를 민감하게 보존하는 특징 공간을 형성한다.
• 근접 및 원거리 OOD 레짐에서 접근법을 평가하고, 새로운 CLP 지표로 작업 난이도를 정량화한다.
• 학습 단계에서 OOD 라벨 없이도 기존 방법 대비 실용적인 성능 향상을 입증한다.

제안 방법

• SimCLR 스타일 인코더를 두 개의 투 projection heads와 함께 채택한다: 분류 헤드 g_φ와 대비 임베딩 헤드 h_ν.
• 두 단계 목표를 통해 학습한다: 첫째, R 대비 손실 L_con만으로 풍부한 표현을 학습; 둘째, 합동 손실 L_con + λ L_class를 통해 판별을 마무리한다.
• penultimate 활성화 z에 대해 클래스 조건부 가우시안 밀도를 맞춰 OOD 점수 s(x)를 계산하고, Eq. (2)에 따라 클래스 중 최대치를 취한다.
• 레이블 스무딩을 사용해 클래스 내 활성화 클러스터를 더 조밀하게 만들어 OOD 탐지를 위한 밀도 추정을 개선한다.
• 근접, 원거리 및 혼합 OOD 레짐에서 AUROC와 OOD 랭크로 OOD 성능을 평가하고, 작업 난이도를 정량화하기 위해 Confusion Log Probability(CLP)을 도입한다.

실험 결과

연구 질문

• RQ1 대비 학습이 명시적 OOD 감독 없이도 OOD 탐지를 개선하는가?
• RQ2 제안된 방법은 baselines와 비교하여 근접 및 원거리 OOD 레짐에서 어떠한 성능을 보이는가?
• RQ3 강건한 CLP 지표가 OOD 작업의 난이도를 특징화하고 탐지 성능과 상관관계가 있는가?
• RQ4 활성화 공간 분리를 개선하고 OOD 점수에 영향 주는 대비 학습과 레이블 스무딩의 조합 영향은 무엇인가?

주요 결과

• 제안된 방법은 근접 및 원거리 OOD 설정에서 OOD 탐지를 개선하며, 근접 OOD CIFAR-10 vs CIFAR-100에서 78.3 AUROC, 혼합 근접/원거리 OOD CIFAR-10 vs CIFAR-100에서 92.9 AUROC를 달성한다.
• 원거리 OOD(CIFAR-10 in vs SVHN out)에서 AUROC가 99.5에 도달하여, 학습 또는 튜닝 시 라벨링된 OOD 데이터를 사용하지 않고도 최첨단과 경쟁력이 있다.
• 세 쌍의 데이터셋에서의 평균 AUROC가 90.2로, 학습 시 이상치 데이터를 필요로 하는 기존 방법들을 능가한다.
• 변형으로 비교 실험을 통해 레이블 스무딩과 대비 학습의 결합이 활성화 공간 형성에 최적화된 효과를 보이며, 실행마다 OOD 랭크 변화가 가장 낮다.
• CLP는 OOD 작업 난이도를 잘 드러내며 근접 OOD 시나리오에서 CLP가 더 높아 탐지 작업이 더 어려움을 보여준다.
• 이 방법은 명시적 이탈 데이터에 의존하지 않으며, 높은 용량 네트워크와 함께 확장 가능해 현실적이고 비레이블 데이터 환경에 부합한다.