[논문 리뷰] Out-of-Distribution Detection with Distance Guarantee in Deep Generative Models

Yufeng Zhang, Wanwei Liu외 6명|arXiv (Cornell University)|2020. 02. 09.

Anomaly Detection Techniques and Applications참고 문헌 70인용 수 7

한 줄 요약

이 논문은 분산과 기하학적 성질에 대한 이론적 보장을 활용하여 딥 생성 모델에서 이상치 탐지(OOD)를 위한 새로운 접근법을 제안한다. 그는 그룹 및 개별 지점 기반 이상 탐지 방법을 도입하여 모든 벤치마크에서 거의 100%의 AUROC를 달성하며, 특히 데이터 조작 상황에서도 기존 최고 성능(SOTA) 방법보다 뛰어나다.

ABSTRACT

Recent research has revealed that deep generative models including flow-based models and Variational autoencoders may assign higher likelihood to out-of-distribution (OOD) data than in-distribution (ID) data. However, we cannot sample out OOD data from the model. This counterintuitive phenomenon has not been satisfactorily explained. In this paper, we prove theorems to investigate the divergences in flow-based model and give two explanations to the above phenomenon from divergence and geometric perspectives, respectively. Based on our analysis, we propose two group anomaly detection methods. Furthermore, we decompose the KL divergence and propose a point-wise anomaly detection method. We have conducted extensive experiments on prevalent benchmarks to evaluate our methods. For group anomaly detection (GAD), our method can achieve near 100\% AUROC on all problems and has robustness against data manipulations. On the contrary, the state-of-the-art (SOTA) GAD method performs not better than random guessing for challenging problems and can be attacked by data manipulation in almost all cases. For point-wise anomaly detection (PAD), our method is comparable to the SOTA PAD method on one category of problems and outperforms the baseline significantly on another category of problems.

연구 동기 및 목표

• 딥 생성 모델이 OOD 데이터에 대해 ID 데이터보다 더 높은 가능도를 부여하는 이면적인 현상에 대한 설명.
• 유체 기반 모델에서 발산과 기하학적 시각화를 통해 이 현상의 이론적 기초 제공.
• 증명 가능한 성능 보장을 갖춘 강건한 그룹 및 개별 지점 기반 이상 탐지 방법 개발.
• 기존 방법이 실패하는 데이터 조작 상황에서도 OOD 탐지의 신뢰성 향상.

제안 방법

• 유체 기반 모델에서 발산의 이론적 분석을 통해 OOD 데이터가 ID 데이터보다 가능도가 높을 수 있는 이유를 설명.
• 기하학적 및 발산 기반 원리에 기반한 그룹 이상 탐지(GAD) 방법 제안으로 거리 보장을 확보.
• KL 발산의 분해를 통한 개별 지점 기반 이상 탐지(PAD) 기반 설계로 개별 이상치 감지 민감도 향상.
• 기존 SOTA 접근 방식과 달리 데이터 조작에 강건한 이상 탐지 방법 설계.
• 표준 벤치마크에서의 광범위한 평가를 통해 성능 및 강건성 검증.

실험 결과

연구 질문

• RQ1 왜 유체 기반 모델과 VAE는 OOD 데이터에 대해 ID 데이터보다 더 높은 가능도를 부여하는가?
• RQ2 발산과 기하학적 분석을 통해 이 반직관적인 행동에 대한 이론적 근거를 제공할 수 있는가?
• RQ3 데이터 조작에 강건하고 거의 완벽한 성능을 달성하는 이상 탐지 방법을 설계할 수 있는가?
• RQ4 제안된 KL 발산 분해 방식은 어떻게 개별 지점 기반 이상 탐지 성능을 향상시키는가?

주요 결과

• 제안된 그룹 이상 탐지(GAD) 방법은 테스트된 모든 문제에서 거의 100%의 AUROC를 달성하며, SOTA 방법보다 뚜렷이 뛰어나다.
• SOTA GAD 방법은 도전적인 문제에서 랜덤 추측 수준 이하로 성능을 보이며, 데이터 조작에 취약하다.
• 제안된 GAD 방법은 SOTA 방법과 달리 데이터 조작에 대해 강건성을 유지한다.
• 개별 지점 기반 이상 탐지(PAD)에서, 한 문제 유형에서는 SOTA 수준과 유사한 성능를 보이며, 다른 문제 유형에선 기준선 대비 뚜렷이 뛰어난 성능를 나타낸다.