[논문 리뷰] Bayesian Autoencoders: Analysing and Fixing the Bernoulli likelihood for Out-of-Distribution Detection

Bang Xiang Yong, Tim Pearce외 1명|arXiv (Cornell University)|2021. 07. 28.

Anomaly Detection Techniques and Applications참고 문헌 15인용 수 5

한 줄 요약

이 논문은 변분 오토인코더에서 베르누이 우도가 이미지 내 고비율의 0 값에 의해 혼동되어 분포 외(OOD) 탐지에 신뢰할 수 없게 만든다는 점을 밝혀내며, 이를 해결하기 위해 두 가지 개선 방법을 제안한다: 베이지안 오토인코더(BCA)를 통한 로그우도 추정의 지식 불확실성 추정과 가우시안 우도로의 전환. 이 두 방법 모두 MNIST 대 FashionMNIST에서 AUROC >0.98를 달성하여 표준 우도 기반 방법을 능가한다.

ABSTRACT

After an autoencoder (AE) has learnt to reconstruct one dataset, it might be expected that the likelihood on an out-of-distribution (OOD) input would be low. This has been studied as an approach to detect OOD inputs. Recent work showed this intuitive approach can fail for the dataset pairs FashionMNIST vs MNIST. This paper suggests this is due to the use of Bernoulli likelihood and analyses why this is the case, proposing two fixes: 1) Compute the uncertainty of likelihood estimate by using a Bayesian version of the AE. 2) Use alternative distributions to model the likelihood.

연구 동기 및 목표

• 표준 변분 오토인코더가 MNIST 대 FashionMNIST와 같은 이미지 데이터셋에서 OOD 탐지에 실패하는 이유를 조사하는 것.
• 특히 높은 0 값 비율로 인해 픽셀 데이터 분포와 불일치하는 점을 이유로 베르누이 우도가 근본 원인임을 규명하는 것.
• 지식 불확실성의 로그우도 추정을 추정하고, 가우시안과 같은 대체 우도를 사용하는 실용적인 두 가지 개선 방법을 제안하는 것.
• MC-Dropout, Bayes-by-Backprop, 锚정된 앙상블 등 베이지안 추론 방법을 활용해 오토인코더 내 불확실성 추정을 평가하는 것.
• 불확실성과 우도 추정을 조합하면 OOD 탐지 AUROC가 크게 향상됨을 보여주는 것.

제안 방법

• 자동으로 인코더 매개변수에 베이즈 정리 적용을 통해 베이지안 오토인코더(BAE)를 제안하고, 가중치에 대한 사후 추론을 가능하게 한다.
• MC-Dropout, Bayes-by-Backprop, SGHMC, 그리고 锚정된 앙상블을 활용해 사후 분포에서 샘플링하는 근사 추론 기법을 사용한다.
• 사후 가중치에 대한 몬테카를로 샘플링을 통해 계산된 로그우도 추정의 불확실성, Var_θ(LL)를 새로운 OOD 점수로 도입한다.
• 베르누이 우도를 가우시안 우도(N(𝐱̂*,1))과 연속 베르누이(C-Ber)로 대체하여 픽셀 도메인 불일치에 대한 강건성 테스트를 수행한다.
• 앙상블 모델이 필요 없도록, 단일 모델에서 중요도 샘플링을 통해 지식 불확실성을 추정하는 방법을 활용한다.
• 표준 벤치마크인 MNIST 대 FashionMNIST와 SVHN 대 CIFAR10에서 AUROC를 사용해 OOD 탐지 성능을 평가한다.

실험 결과

연구 질문

• RQ1 왜 베르누이 우도는 오토인코더에서 OOD 탐지에 실패하는가? 특히 MNIST 대 FashionMNIST에서 그러한 현상이 발생하는 이유는 무엇인가?
• RQ2 이미지 내 0 픽셀 비율이 높을수록 베르누이 우도가 내재된 분포와 분포 외 샘플을 구분하는 능력을 저해하는가?
• RQ3 로그우도 추정의 지식 불확실성, Var_θ(LL)는 신뢰할 수 있는 OOD 탐지 점수로 활용될 수 있는가?
• RQ4 픽셀 값과 지원이 일치하지 않더라도 가우시안 우도로 전환하면 OOD 탐지 성능이 향상되는가?
• RQ5 베이지안 추론 방법(예: 锚정된 앙상블)을 통한 불확실성 추정이 표준 우도 기반 점수를 능가하는가?

주요 결과

• 베르누이 우도는 이미지 내 고비율의 0 값에 의해 혼동되어 MNIST 대 FashionMNIST에서 AUROC < 0.5를 기록하며 OOD 탐지에 실패한다.
• 연속 베르누이 우도 역시 이 문제를 해결하지 못하며, 유사한 열악한 성능(AUROC ≈ 0.31)을 보인다.
• 베르누이 우도에서 가우시안 우도로 전환하면 모든 모델에서 AUROC가 약 0.30에서 0.98로 상승하여 도메인 불일치에도 불구하고 강건함을 입증한다.
• 로그우도 추정의 불확실성, Var_θ(LL)는 모든 모델에서 AUROC > 0.98를 달성하며, 평균 우도(𝔼_θ(LL))보다 뛰어난 성능을 보인다.
• 锚정된 앙상블과 Var_θ(LL)를 조합하면 MNIST 대 FashionMNIST에서 최고의 AUROC 0.995를 기록하며, 표준 우도 기반 방법을 크게 능가한다.
• 단일 모델에서 중요도 샘플링만으로도 지식 불확실성을 충분히 추정할 수 있어, 전체 앙상블이 필요 없이도 확장 가능한 방법임을 입증한다.