[논문 리뷰] Training Confidence-calibrated Classifiers for Detecting Out-of-Distribution Samples

Kimin Lee, Honglak Lee외 2명|arXiv (Cornell University)|2017. 11. 26.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 115

한 줄 요약

이 논문은 확신 손실과 경계 지향 GAN을 추가하여 분류기의 신뢰도를 보정하고, 분포 내(in-distribution) 데이터와 분포 외(out-of-distribution) 데이터를 구분하는 훈련 프레임워크를 제시하며, 임계치 기반 OOD 탐지기의 성능을 향상시키되 분포 내 정확도에는 영향을 주지 않는다.

ABSTRACT

The problem of detecting whether a test sample is from in-distribution (i.e., training distribution by a classifier) or out-of-distribution sufficiently different from it arises in many real-world machine learning applications. However, the state-of-art deep neural networks are known to be highly overconfident in their predictions, i.e., do not distinguish in- and out-of-distributions. Recently, to handle this issue, several threshold-based detectors have been proposed given pre-trained neural classifiers. However, the performance of prior works highly depends on how to train the classifiers since they only focus on improving inference procedures. In this paper, we develop a novel training method for classifiers so that such inference algorithms can work better. In particular, we suggest two additional terms added to the original loss (e.g., cross entropy). The first one forces samples from out-of-distribution less confident by the classifier and the second one is for (implicitly) generating most effective training samples for the first one. In essence, our method jointly trains both classification and generative neural networks for out-of-distribution. We demonstrate its effectiveness using deep convolutional neural networks on various popular image datasets.

연구 동기 및 목표

• 딥 네트의 과신(overconfidence)을 해결하여 강건한 OOD 탐지를 촉진한다.
• OOD 샘플에서의 신뢰도를 낮추면서 분포 내 성능을 보존하는 새로운 학습 손실을 제안한다.
• 분류기를 학습시키기 위한 효과적인 경계 OOD 샘플을 생성하는 GAN을 개발한다.
• 신뢰도 높은 분류기와 적대적 생성기가 서로를 향상시키는 공동 학습을 가능하게 한다.

제안 방법

• 표준 크로스 엔트로피와 KL 발산 항을 결합한 신뢰도 손실을 정의하여 OOD에 대한 P(y|x)가 균등 분포에 가까워지도록 한다.
• 생성기 G와 판별기 D를 갖는 GAN을 도입하여 저밀도 경계 샘플을 생성하고 분포 내와의 정렬을 통해 도전적인 OOD 샘플을 만든다(식(2) 및 (3)).
• 논문의 알고리즘 1에 따라 분류기 θ와 GAN (G, D)를 교대로 업데이트하여 (c)+(d)를 최소화하고 (e)를 최대화하는 공동 학습 목표를 제시한다.
• 탐지기 구분을 극대화하기 위해 분포 경계에 가까운 OOD 샘플에서 KL 항을 최적화하도록 허용한다.
• 일반적인 CNN 백본(AlexNet, VGGNet 등)으로 표준 비전 데이터셋(CIFAR, SVHN, ImageNet, LSUN)에서 학습될 수 있음을 보인다.
• 이 방법이 베이지안 앙상블과 직교하며 더 나은 결과를 위해 함께 사용할 수 있음을 주장한다.

실험 결과

연구 질문

• RQ1 신뢰도 보정 학습 목표가 임계치 기반 탐지기보다 분포 내/외 출력의 분리성을 향상시킬 수 있는가?
• RQ2 경계 초점 적대적 생성기와 함께 분류기를 공동 학습시킬 때 분포 내 정확도를 해치지 않으면서 더 나은 OOD 탐지가 얻어지는가?
• RQ3 현실적인(경계에 근접한) OOD 샘플이 먼 거리의 또는 합성된 샘플보다 보정에 더 효과적인가?
• RQ4 제안된 방법이 여러 데이터셋과 네트워크 아키텍처(예: VGGNet, AlexNet)에서 OOD 탐지에 상당한 이득을 달성할 수 있는가?

주요 결과

• 신뢰도 손실은 여러 인-디스트리뷰션/아웃-디스트리뷰션 쌍에서 OOD 탐지 지표를 향상시키며, 예를 들어 SVHN을 인디스트리뷰션으로 사용할 때 신뢰도 손실로 학습하면 강한 이득이 나타난다.
• 제안된 GAN과의 공동 신뢰도 손실을 사용하는 것이 명시적 OOD 데이터만 사용하는 것보다 탐지가 더 우수하며, 특히 CIFAR-10을 인디스트리션으로 사용할 때 그렇다.
• SVHN을 인디스트리션으로 사용할 때 이 방법은 분류 정확도를 해치지 않으면서 탐지 지표(TNR, AUROC, AUPR, 탐지 정확도 등)를 크게 향상시킨다.
• 경계 중심 GAN은 인디스트리션 경계에 가까운 OOD 샘플을 생성하여 표준(무작위 혹은 가우시안) OOD 데이터를 사용하는 경우보다 탐지기 성능을 향상시킨다.
• 시각화(가이드된 그래디언트 맵)는 신뢰도 손실을 적용한 후 학습된 모델이 OOD 탐지를 위해 더 관련된 이미지 영역에 주의를 기울임을 시사한다.