[논문 리뷰] Out-of-distribution Detection in Classifiers via Generation

Sachin Vernekar, Ashish Gaurav외 4명|arXiv (Cornell University)|2019. 10. 09.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 45

한 줄 요약

본 논문은 효과적인 OOD 샘플(Type I 및 II)을 생성하기 위한 CVAE 기반 방법을 제시하고, 강건한 OOD 탐지를 위한 n+1 클래스 분류기를 학습시켜 MNIST와 Fashion-MNIST에서 베이스라인 대비 성능이 향상되었음을 보인다.

ABSTRACT

By design, discriminatively trained neural network classifiers produce reliable predictions only for in-distribution samples. For their real-world deployments, detecting out-of-distribution (OOD) samples is essential. Assuming OOD to be outside the closed boundary of in-distribution, typical neural classifiers do not contain the knowledge of this boundary for OOD detection during inference. There have been recent approaches to instill this knowledge in classifiers by explicitly training the classifier with OOD samples close to the in-distribution boundary. However, these generated samples fail to cover the entire in-distribution boundary effectively, thereby resulting in a sub-optimal OOD detector. In this paper, we analyze the feasibility of such approaches by investigating the complexity of producing such "effective" OOD samples. We also propose a novel algorithm to generate such samples using a manifold learning network (e.g., variational autoencoder) and then train an n+1 classifier for OOD detection, where the $n+1^{th}$ class represents the OOD samples. We compare our approach against several recent classifier-based OOD detectors on MNIST and Fashion-MNIST datasets. Overall the proposed approach consistently performs better than the others.

연구 동기 및 목표

• 현실 세계의 배포에서 사용되는 판별적으로 학습된 분류기에서 신뢰할 수 있는 OOD 탐지의 필요성을 제기한다.
• 매니폴드 학습을 이용해 다양하고 경계 영역을 포괄하는 OOD 샘플을 체계적으로 생성하는 방법을 제안한다.
• 추가 클래스가 OOD 샘플을 나타내는 n+1 클래스 소프트맥스 분류기를 학습시켜 경계 구분을 개선한다.
• 두 가지 OOD 샘플 카테고리(Type I 및 Type II)를 분석하고 이들이 인-디스트리뷰션 경계를 어떻게 포괄하는지 보여준다.
• MNIST와 Fashion-MNIST 데이터셋에서 분류기 기반 OOD 탐지기들과 실험적으로 비교한다.

제안 방법

• 클래스별로 데이터 매니폴드를 모델링하기 위해 조건부 변분 오토인코더(CVAE)를 활용한다.
• 데이터 매니폴드에 수직인 방향으로 분포 내 샘플을 섭동시켜(Type I) OOD 샘플을 생성한다 (CVAE 디코더 야코비안의 left-nullspace 방향).
• 잠재 공간에서 CVAE 집계 후포스터의 밀도가 낮은 영역에서 샘플링하고 이를 입력 공간으로 디코딩하여 Type II OOD 샘플을 생성한다.
• 표준 교차 엔트로피를 사용한 n+1 클래스 분류기를 학습시키되, n+1 번째 클래스가 OOD 샘플을 나타낸다.
• 탐지를 위한 OOD 클래스 확률을 OOD 스코어로 사용한다.
• MNIST와 Fashion-MNIST에서 Confident-Classifier, ODIN, Mahalanobis 거리 등과 비교한다.

실험 결과

연구 질문

• RQ1 CVAE 기반 생성이 GAN 기반 접근법보다 인-디스트리뷰션 경계를 효과적으로 커버하는 OOD 샘플을 생성할 수 있는가?
• RQ2 Type I 및 Type II OOD 샘플이 서로 보완하여 n+1 클래스 분류기를 학습시킬 때 강건한 OOD 탐지기를 만들어내는가?
• RQ3 다수의 OOD 데이터셋에서 제안된 OOD 생성 전략이 최첨단 분류기 기반 탐지기와 비교해 어떤 성능을 보이는가?
• RQ4 OOD 샘플로 학습할 때 인-디스트리뷰션 분류 정확도에 측정 가능한 영향이 있는가?
• RQ5 다른 인-디스트리뷰션 데이터셋(MNIST 대 Fashion-MNIST)과 다양한 OOD 소스에 걸쳐 방법의 견고성은 어떤가?

주요 결과

• 제안된 접근법은 MNIST와 Fashion-MNIST에서 여러 OOD 데이터셋에 대해 여러 분류기 기반 OOD 탐지기보다 우수한 성능을 보인다.
• CVAE를 통해 생성된 Type I 및 Type II OOD 샘플은 인-디스트리뷰션 경계의 다양한 커버리지를 제공한다.
• 생성된 OOD 샘플(n+1 클래스)을 사용한 학습은 인-디스트리뷰션 정확도에 의미 있는 하락을 초래하지 않는다.
• 이 방법은 다양한 OOD 데이터셋에서도 견고하며, 섭동 크기에 대해 데이터셋별 하이퍼파라미터 조정이 필요하지 않다.
• Confident-Classifier 베이스라인과 비교할 때 제안된 방법은 AUROC, AUPR, FPR, 탐지 오류 등 여러 지표에서 상당한 향상을 보인다.
• 이 방법은 매니폴드 기반 생성 과정을 통해 '효과적인' OOD 샘플을 생성하는 난이도에 대한 직관적인 척도를 제공한다.