[논문 리뷰] Detecting Out-of-distribution Samples via Variational Auto-encoder with Reliable Uncertainty Estimation

Xuming Ran, Mingkun Xu외 3명|arXiv (Cornell University)|2020. 07. 16.

Anomaly Detection Techniques and Applications참고 문헌 37인용 수 6

한 줄 요약

이 논문은 분포 외(out-of-distribution, OOD) 탐지에 대해 신뢰할 수 있는 불확실성 추정을 가능하게 하기 위해 인코더에 향상된 노이즈 대비 사전 확률(Improved Noise Contrastive Priors, INCP)을 통합한 변동형 오토인코더(INCPVAE)를 제안한다. OOD 탐지 지표로 우도(likelihood) 대신 INCP-KL 비율을 사용함으로써, CIFAR10 대 비디오 스타일의 SVHN에 대해 최신 기준(AUROC: 1.000)을 달성하여 표준 VAE 및 이전 방법들을 능가한다.

ABSTRACT

Variational autoencoders (VAEs) are influential generative models with rich representation capabilities from the deep neural network architecture and Bayesian method. However, VAE models have a weakness that assign a higher likelihood to out-of-distribution (OOD) inputs than in-distribution (ID) inputs. To address this problem, a reliable uncertainty estimation is considered to be critical for in-depth understanding of OOD inputs. In this study, we propose an improved noise contrastive prior (INCP) to be able to integrate into the encoder of VAEs, called INCPVAE. INCP is scalable, trainable and compatible with VAEs, and it also adopts the merits from the INCP for uncertainty estimation. Experiments on various datasets demonstrate that compared to the standard VAEs, our model is superior in uncertainty estimation for the OOD data and is robust in anomaly detection tasks. The INCPVAE model obtains reliable uncertainty estimation for OOD inputs and solves the OOD problem in VAE models.

연구 동기 및 목표

• VAE에서 OOD 샘플이 내부 분포(ID) 샘플보다 더 높은 우도를 가짐으로써 발생하는 OOD 문제를 해결하기 위해.
• 비지도 생성 모델에서 OOD 입력에 대해 신뢰할 수 있는 불확실성 추정을 가능하게 하는 방법을 개발하기 위해.
• 이전에 분류기 모델에만 국한되었던 노이즈 대비 사전 확률(Noise Contrastive Priors, NCPs)을 VAE 프레임워크에 통합하기 위해.
• INCP-KL 비율에 기반한 새로운 OOD 탐지 기준을 제안하여 기존 우도 기반 방법에 비해 강건성과 성능을 향상시키기 위해.

제안 방법

• VAE에 적합한 개선된 노이즈 대비 사전 확률(INCP)을 제안하여 학습 가능하고 확장 가능한 불확실성 추정을 가능하게 하였다.
• INCP를 VAE의 인코더에 통합하여 ID 데이터와 ID 입력에 가우시안 노이즈를 첨가해 생성한 OOD 데이터를 함께 학습할 수 있도록 하였다.
• 증가하는 노이즈 수준에서의 ELBO 값 비교를 통해 불확실성 추정을 위한 새로운 지표인 ELBO 비율을 정의하였다.
• 주요 OOD 탐지 기준으로 INCP-KL 비율(즉, INCP 하에서의 KL 발산과 표준 KL 발산의 비율)을 계산하였다.
• INCP를 통합한 수정된 손실 함수를 사용해 모델을 엔드 투 엔드로 훈련시켜 OOD 입력에 대해 높은 불확실성 값을 유도하도록 하였다.
• 실용적 구현을 위해 INCP-KL 비율에 단순 임계값(예: α = 1)을 적용하여 샘플을 OOD 또는 ID로 분류하였다.

Figure 1: Generating OOD samples by adding Gaussian Noise to the baseline data. The baseline data is sample from the original image dataset (e.g., FashionMNIST, MNIST, CIFAR10, SVHN). We add the Gaussian Noise at three levels to generate the OOD sample with different complexity. The Baseline+Noise i

실험 결과

연구 질문

• RQ1 향상된 노이즈 대비 사전 확률(INCP)이 VAE 프레임워크에 성공적으로 적용되어 OOD 탐지의 불확실성 추정을 향상시킬 수 있는가?
• RQ2 ELBO 비율 지표가 노이즈 수준 증가에 따라 입력 데이터의 불확실성을 신뢰성 있게 인덱싱하는가?
• RQ3 INCP-KL 비율이 다양한 데이터셋에서 기존의 우도 기반 방법 및 다른 기준 대비 OOD 샘플을 더 잘 탐지할 수 있는가?
• RQ4 모델이 분포 이동, 예를 들어 FashionMNIST에서 훈련한 후 MNIST 데이터를 탐지하는 경우에도 강건한가?
• RQ5 INCPVAE 모델이 합성 노이즈 기반 OOD 생성을 초월해 실제 세계의 OOD 데이터에 일반화 가능한가?

주요 결과

• INCPVAE는 CIFAR10 대 비디오 스타일의 SVHN에 대해 기준 성능을 달성하여 AUROC 1.000과 AUPRC 1.000을 기록하였으며, 기존 표준 VAE 및 이전 방법들보다 뚜렷이 뛰어나다.
• ELBO 비율은 노이즈 수준이 증가함에 따라 증가하며, 네 가지 데이터셋에서 신뢰할 수 있는 불확실성 추정을 보여주어 입력 불확실성에 민감함을 확인하였다.
• 기존 VAE는 불확실성 표현의 일반화가 실패하는 반면, INCPVAE는 FashionMNIST에서 학습한 후 MNIST로의 불확실성 추정 전이에 성공하여 불확실성 표현의 일반화 능력 향상을 시사한다.
• 기존 VAE는 OOD 입력에 대해 ID 입력보다 더 높은 우도를 할당함으로써 OOD 문제를 확인하였고, INCPVAE는 INCP-KL 비율을 탐지 지표로 사용함으로써 이를 완화하였다.
• INCP-KL 비율 방법은 CIFAR10 대 SVHN에서 AUROC 1.000과 AUPRC 1.000을 달성하여 기준 방법들(우도: AUROC 0.057, ODIN: 0.752, 막할라노비스 거리: 0.942)을 뛰어넘었다.
• 모델의 성능는 단순 가우시안 노이즈 기반 OOD 데이터 생성에서도 유지되며, 더 현실적인 OOD 데이터 생성 기법으로의 확장 가능성을 시사한다.

(a) FashionMNIST