[논문 리뷰] Training Confidence-calibrated Classifiers for Detecting Out-of-Distribution Samples

Kimin Lee, Honglak Lee외 2명|arXiv (Cornell University)|2017. 11. 25.

Advanced Statistical Process Monitoring인용 수 365

한 줄 요약

요약: 이 논문은 신뢰도 손실(confidence loss)을 도입하여 분류기가 OOD(out-of-distribution) 데이터에 대해 낮은 신뢰도로 예측하도록 학습하고, 경계(boundary) 유사 OOD 샘플을 생성하는 GAN을 도입하여 신뢰도 높은 분류기와 적대적 생성기를 함께 학습시켜 OOD 탐지를 개선하되 인디스트리뷰션 정확도는 손실 없이 유지한다.

ABSTRACT

The problem of detecting whether a test sample is from in-distribution (i.e., training distribution by a classifier) or out-of-distribution sufficiently different from it arises in many real-world machine learning applications. However, the state-of-art deep neural networks are known to be highly overconfident in their predictions, i.e., do not distinguish in- and out-of-distributions. Recently, to handle this issue, several threshold-based detectors have been proposed given pre-trained neural classifiers. However, the performance of prior works highly depends on how to train the classifiers since they only focus on improving inference procedures. In this paper, we develop a novel training method for classifiers so that such inference algorithms can work better. In particular, we suggest two additional terms added to the original loss (e.g., cross entropy). The first one forces samples from out-of-distribution less confident by the classifier and the second one is for (implicitly) generating most effective training samples for the first one. In essence, our method jointly trains both classification and generative neural networks for out-of-distribution. We demonstrate its effectiveness using deep convolutional neural networks on various popular image datasets.

연구 동기 및 목표

• 분류기가 종종 과신하는 문제를 가지는 외분포 샘플 탐지의 문제를 동기 부여하고 형식화한다.
• OOD 입력에서 모델의 신뢰도를 감소시키되 인디스트리뷰션 정확도는 보존하는 신뢰도 손실을 도입한다.
• 인포메이션이 풍부한 OOD 샘플을 생성하기 위해 경계 근처에 위치한 샘플을 만드는 GAN(적대적 생성기)을 개발한다.
• 클래시파이어와 GAN이 서로를 개선하는 공동 학습 체계를 제시하여 여러 데이터셋에 걸친 OOD 탐지를 향상시킨다.
• 분류 성능을 해치지 않으면서 CIFAR-10, SVHN, ImageNet, LSUN, Gaussian noise 등 여러 이미지 데이터셋에서 OOD 탐지 성능을 향상시킨다.

제안 방법

• OOD x에 대해 P_theta(y|x)가 균일에 가까워지도록 KL 발산 항을 추가하는 신뢰도 손실을 정의하되, 인디스트리뷰션 x에 대해서는 표준 교차 엔트로피를 유지한다.
• GAN을 도입하여 (i) 분류기에 대해 KL 기반 용어를 최소화하여 경계 유사 OOD 샘플을 생성하고, (ii) 생성된 샘플이 인디스트리뷰션 근처에 머무르도록 표준 GAN 손실을 사용한다.
• 분류기 손실과 GAN 손실을 결합한 공동 목표를 구성하여 (G,D)와 분류기 매개변수 theta에 대해 교대 최적화를 가능하게 한다.
• 수렴 보장을 갖춘 단조로운 목적 감소를 통해 점진적으로 자신감 있는 분류기와 적대적 생성기를 정제하는 교대 학습 알고리즘(Algorithm 1)을 제공한다.
• Threshold 기반 탐지기와 표준 OOD 지표를 사용하여 CIFAR-10, SVHN, ImageNet, LSUN, Gaussian noise에서 CNN(VGGNet, AlexNet 등)을 평가한다.

실험 결과

연구 질문

• RQ1 신뢰도 기반 목표가 인디스트리뷰션 정확도에 영향을 주지 않으면서 인디스트리션과 OOD 예측 간의 분리성을 향상시키는가?
• RQ2 맞춤형 GAN을 통해 경계 근처의 OOD 샘플로 학습하는 것이 일반적이거나 합성된 OOD 데이터를 사용하는 것보다 더 나은 OOD 탐지기를 얻는가?
• RQ3 신뢰도 있는 분류기와 적대적 생성기의 공동 학습이 여러 데이터셋과 탐지기에 걸쳐 일관된 개선을 가져오는가?
• RQ4 본 제안 손실을 사용할 때 본 데이터가_seen vs unseen_인 경우가 OOD 탐지 성능에 어떤 차이를 가져오는가?

주요 결과

In-distribution	Out-of-dist	Classification accuracy	TNR at TPR 95%	AUROC	Detection accuracy	AUPR in	AUPR out
SVHN	CIFAR-10 (seen)	93.82 / 94.23	47.4 / 99.9	62.6 / 99.9	78.6 / 99.9	71.6 / 99.9	91.2 / 99.4
TinyImageNet (unseen)	(unseen)	49.0 / 100.0	64.6 / 100.0	79.6 / 100.0	72.7 / 100.0	91.6 / 99.4
LSUN (unseen)	(unseen)	46.3 / 100.0	61.8 / 100.0	78.2 / 100.0	71.1 / 100.0	90.8 / 99.4
Gaussian (unseen)	(unseen)	56.1 / 100.0	72.0 / 100.0	83.4 / 100.0	77.2 / 100.0	92.8 / 99.4

• 신뢰도 손실은 여러 인디스트리뷰션/아웃디스트리뷰션 쌍에서 분류 정확도에 해를 주지 않으면서 TNR at 95% TPR, AUROC, AUPR 등 OOD 탐지 지표를 상당히 향상시킨다.
• KL 항을 최적화할 때 현실적인 OOD 데이터(예: LSUN, TinyImageNet)가 합성 노이즈보다 탐지기 성능 향상에 더 효과적이다.
• 제안된 GAN은 낮은 밀도 경계 샘플을 생성하는 경향이 있어 표준 GAN보다 인디스트리뷰션과 아웃디스트리션 간 구분을 더 잘 이끈다.
• 공동 학습(분류기 + GAN)은 교차 엔트로피만을 사용하는 것보다 성능이 우수하며, 때때로 명시적 OOD 데이터에 대해 KL 용어를 따로 학습하는 것보다 뛰어나다.
• 가이드된 그래디언트 시각화는 신뢰도 학습된 모델이 경계 근처 케이스에서 입력의 더 정보성 있는 영역에 집중하도록 하여 탐지 성능과 일치하는 개선을 시사한다.
• 이 방법은 CIFAR-10 및 SVHN 실험에서 TNR 및 AUROC에 유의한 상승을 보이고,_seen/ unseen 외부 OOD 데이터에서도 경쟁력을 유지한다.