[논문 리뷰] WAIC, but Why? Generative Ensembles for Robust Anomaly Detection

Hyunsun Choi, Eric Jang외 1명|arXiv (Cornell University)|2018. 10. 02.

Anomaly Detection Techniques and Applications참고 문헌 36인용 수 158

한 줄 요약

본 논문은 WAIC(Watanabe-Akaike Information Criterion)를 사용하여 Generative Ensembles를 도입하고, 생성 모델 앙상블의 에피스틱 불확실성과 밀도 추정치를 결합해 OoD 입력을 강건하게 탐지합니다. 또한 likelihood만으로는 오해의 소지가 있을 수 있음을 논의하고, 이미지 및 신용카드 데이터셋 전반에 걸친 실험 결과를 제공합니다.

ABSTRACT

Machine learning models encounter Out-of-Distribution (OoD) errors when the data seen at test time are generated from a different stochastic generator than the one used to generate the training data. One proposal to scale OoD detection to high-dimensional data is to learn a tractable likelihood approximation of the training distribution, and use it to reject unlikely inputs. However, likelihood models on natural data are themselves susceptible to OoD errors, and even assign large likelihoods to samples from other datasets. To mitigate this problem, we propose Generative Ensembles, which robustify density-based OoD detection by way of estimating epistemic uncertainty of the likelihood model. We present a puzzling observation in need of an explanation -- although likelihood measures cannot account for the typical set of a distribution, and therefore should not be suitable on their own for OoD detection, WAIC performs surprisingly well in practice.

연구 동기 및 목표

• 훈련 데이터와 차이가 있는 입력(OoD)을 태스크 특화 이상 탐지에 의존하지 않고 안전한 ML 배치를 촉진하기 위함.
• 가능성 기반의 OoD 탐지의 한계를 조사하고 WAIC를 강건한 대안으로 탐색.
• 생성 모델 앙상블을 통해 에피스틱 불확실성을 추정하여 밀도 기반 이상 탐지의 성능을 향상시키고자 함.
• MNIST, Fashion-MNIST, CIFAR-10과 실제 신용카드 사기 데이터셋에서 대조군과 비교 평가를 수행함.

제안 방법

• WAIC를 E_theta[log p_theta(x)] - Var_theta[log p_theta(x)]로 정의하고, 독립적으로 학습된 생성 모델 앙상블을 근사 후행 샘플로 사용.
• Autoregressive, 흐름 기반, VAE 등 likelihood 모델에 WAIC를 적용하여 강건한 이상 점수를 도출.
• 앙상블 분산이 후행 선택에 대한 민감도를 정규화하고 OoD 입력 식별에 도움을 주는지 시연.
• 판별기 앙상블의 예측 불확실성을 활용하여 GAN 기반 이상 탐지를 확장하고 OoD 입력을 탐지.
• 여러 데이터셋에서 Generative Ensembles를 ODIN, VIB, 밀도 기반 기준선과 비교하는 실험으로 평가.

실험 결과

연구 질문

• RQ1 생성 모델의 앙상블에서 요약된 WAIC 불확실성이 단일 모델의 가능성 대비 OoD 탐지를 향상시킬 수 있는가?
• RQ2 고차원 데이터에서 가능성 기반의 OoD 신호가 일반적인 영역을 잘못 식별하는가, 그리고 WAIC가 이러한 오작동을 완화할 수 있는가?
• RQ3 Generative Ensembles가 표준 벤치마크와 실제 이상 상황에서 판별적 OoD 검출기(예: ODIN, VIB) 대비 어떠한 성능 차이를 보이는가?
• RQ4 OoD 탐지를 개선하기 위해 생성 모델(예: beta-VAE 조정)의 학습에 대한 실용적 인사이트는 무엇인가?

주요 결과

• 앙상블 기반의 WAIC가 MNIST, Fashion-MNIST, CIFAR-10 및 기타 데이터셋에서 단일 모델 가능성보다 많은 OoD 작업에서 더 나은 성능을 보일 수 있다.
• WAIC는 개별 모델에서 높은 가능성을 가진 OoD 샘플을 식별하는 경우가 많아 가능성 기반 탐지의 한계를 해결하는 데 기여한다.
• Generative Ensembles는 판별적 OoD 기준선(ODIN, VIB)과 경쟁력이 있으며, 다수의 작업에서 라벨 정보 없이도 이를 능가할 수 있다.
• 학습 목표의 조정(예: beta-VAE)은 OoD 신호의 품질에 영향을 미치며, 특정 설정에서 탐지 성능이 향상된다.
• 실제 Kaggle 신용카드 사기 데이터셋에서, 정상 거래만으로 학습된 밀도 기반 WAIC 방법이 판별적 분류기 대비 강한 성능을 보인다.