[논문 리뷰] Bayesian Variational Autoencoders for Unsupervised Out-of-Distribution Detection

Erik Daxberger, José Miguel Hernández-Lobato|arXiv (Cornell University)|2019. 12. 11.

Adversarial Robustness in Machine Learning인용 수 32

한 줄 요약

이 논문은 입력 공간과 잠재 공간 양쪽에서 모델의 정보량을 정보 이론적 측도를 통해 평가함으로써 강력한 비지도 이상치 탐지(Out-of-Distribution, OoD)를 가능하게 하는 베이지안 변분 오토에인셔(베이지안 VAE, BVAE)를 제안한다. 이는 변분 오토에인셔의 디코더 파라미터에 대한 전체 사후분포를 추정하기 위해 확률적 경량 마르코프 체인 몬테 카를로(Stochastic Gradient Markov Chain Monte Carlo, SG-MCMC)를 사용함으로써, 사전 분포 기반의 접근 방식보다 훨씬 뛰어난 성능을 보이며, 지식 불확실성(epistemic uncertainty)을 포착함으로써 안정적인 비지도 OoD 탐지를 가능하게 한다.

ABSTRACT

Despite their successes, deep neural networks may make unreliable predictions when faced with test data drawn from a distribution different to that of the training data, constituting a major problem for AI safety. While this has recently motivated the development of methods to detect such out-of-distribution (OoD) inputs, a robust solution is still lacking. We propose a new probabilistic, unsupervised approach to this problem based on a Bayesian variational autoencoder model, which estimates a full posterior distribution over the decoder parameters using stochastic gradient Markov chain Monte Carlo, instead of fitting a point estimate. We describe how information-theoretic measures based on this posterior can then be used to detect OoD inputs both in input space and in the model's latent space. We empirically demonstrate the effectiveness of our proposed approach.

연구 동기 및 목표

• 안전이 중요한 애플리케이션에서 깊은 신경망이 이상치 입력에 대해 과도하게 확신하는 예측을 내리는 데 기인한 핵심적 한계를 해결하기 위해.
• 내분포 데이터보다 이상치 데이터에 더 높은 밀도를 부여할 수 있는, 기존의 가능도 기반 OoD 탐지 방법의 본질적 비신뢰성을 극복하기 위해.
• 원칙적인 불확실성 정량화를 활용해 입력 공간과 잠재 공간 양쪽에서 이상치 입력을 통합적으로 비지도 탐지할 수 있는 프레임워크를 개발하기 위해.
• 모델 파라미터에 대한 사후 추론을 활용해 새로운 입력의 정보량을 정량화하고, 이를 활성 학습 원리와 연결하기 위해.

제안 방법

• 디코더 파라미터의 점추정 대신 확률적 경량 마르코프 체인 몬테 카를로(Stochastic Gradient Markov Chain Monte Carlo, SG-MCMC)를 사용해 전체 사후분포를 추정하는 베이지안 VAE(BVAE)를 제안한다.
• 모델 파라미터에 대한 사후 예측 분포를 사용해 테스트 입력 ${\mathbf{x}}^{*}$의 기대 정보량을 계산함으로써, OoD 상태의 대체 지표로 사용한다.
• 입력 ${\mathbf{x}}^{*}$를 관측한 후 사후분포의 기대 변화를 정량화함으로써, 상호정보량을 통한 정보 이론적 활성 학습 원리와 연결한다.
• 잠재 공간에도 동일한 원리를 적용하여 잠재 코드 ${\mathbf{z}}^{*}$의 정보량을 측정함으로써, 잠재 공간의 OoD 탐지를 가능하게 한다.
• 사후 예측 밀도를 근사하기 위해 모델 증거의 대체 지표로 WAIC(Watanabe-Akaike Information Criterion)를 사용한다.
• 사후분포 하에서의 기대 가능도를 강력한 점수로 간주하여, 단일 점 추정 가능도에 의존하지 않도록 한다.

실험 결과

연구 질문

• RQ1 모델 파라미터에 대한 전체 사후 추론을 갖는 베이지안 딥 생성 모델은 가능도 기반 방법에 비해 OoD 탐지 신뢰도를 향상시킬 수 있는가?
• RQ2 사후분포를 통한 지식 불확실성을 어떻게 활용하여 입력 공간과 잠재 공간 양쪽에서 OoD 입력을 탐지할 수 있는가?
• RQ3 사후분포 갱신 기반의 정보 이론적 모델 정보량 측도가 원칙적이고 강력한 OoD 탐지 기준이 될 수 있는가?
• RQ4 제안된 BVAE 방법은 기존의 비지도 OoD 탐지 방법보다 표준 벤치마크에서 성능을 뛰어나게 하는가? 특히 잠재 공간에서의 성능은 어떠한가?

주요 결과

• 제안된 BVAE 방법은 MNIST, CIFAR-10, SVHN 등의 표준 벤치마크에서 가능도 기반 기준선 및 다른 최신 OoD 탐지 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 입력 공간과 잠재 공간 양쪽에서 OoD 입력 탐지에 뛰어난 성능을 보이며, 다양한 데이터 분포에 걸쳐 강건함을 입증하였다.
• 사후 예측 분산과 사후분포 하에서의 기대 가능도 기반의 정보 이론적 점수는 OoD 상태와 강한 상관관계를 보였다.
• 디코더 파라미터를 샘플링하기 위해 SG-MCMC를 사용함으로써 신뢰할 수 있는 불확실성 정량화가 가능해졌으며, 점추정 VAE가 겪는 과도한 확신 문제를 피할 수 있었다.
• 기존 가능도 기반 방법이 이상치 데이터에 더 높은 점수를 할당하는 상황에서도 이 방법은 이상치 입력을 효과적으로 탐지할 수 있었으며, 이는 그 강건성을 강력히 보여준다.
• 이 방법은 특히 구조적 입력 공간(예: 분자 생성 등)에서의 베이지안 최적화 등에 중요한 잠재 공간의 OoD 탐지에도 효과적이다.