[논문 리뷰] Are generative deep models for novelty detection truly better?

Hans Skvara, Tomáš Pevný외 1명|arXiv (Cornell University)|2018. 07. 13.

Anomaly Detection Techniques and Applications참고 문헌 20인용 수 33

한 줄 요약

이 논문은 비이미지 기준 데이터셋을 대상으로 생성적 딥 러닝 모델을 기존의 이상 탐지 기법들인 kNN 및 Isolation Forests와 비교하여 평가한다. 생성적 딥 러닝 모델이 kNN를 일관되게 능가하지는 않으며, 성능은 하이퍼파rameter 조정에 크게 의존한다. 이는 이상 레이블이 제한된 실세계 환경에서는 비현실적임을 밝힌다.

ABSTRACT

Many deep models have been recently proposed for anomaly detection. This paper presents comparison of selected generative deep models and classical anomaly detection methods on an extensive number of non--image benchmark datasets. We provide statistical comparison of the selected models, in many configurations, architectures and hyperparamaters. We arrive to conclusion that performance of the generative models is determined by the process of selection of their hyperparameters. Specifically, performance of the deep generative models deteriorates with decreasing amount of anomalous samples used in hyperparameter selection. In practical scenarios of anomaly detection, none of the deep generative models systematically outperforms the kNN.

연구 동기 및 목표

• 생성적 딥 러닝 모델이 실세계 환경에서 기존의 이상 탐지 기법들보다 유의미한 성능 향상을 제공하는지 평가하는 것.
• 하이퍼파rameter 선택이 이상 탐지에서 생성적 딥 러닝 모델의 성능에 미치는 영향을 조사하는 것.
• 소수의 이상 샘플만 존재할 경우 딥 러닝 모델의 강건성 평가.
• 최신의 생성적 딥 러닝 모델들에 비해 kNN이 실질적인 이상 탐지 시나리오에서 여전히 강력한 베이스라인으로 기능하는지 확인하는 것.
• 이상 탐지 알고리즘 간 공정한 비교를 위한 표준화되고 공개 가능한 프레임워크 제공.

제안 방법

• 연구는 다양한 비이미지 기준 데이터셋에서 여러 생성적 딥 러닝 모델—VAE, 정규화 플로우를 적용한 VAE, GAN, fmGAN, 오토에인코더—을 평가한다.
• 성능는 다양한 하이퍼파rameter 선택 전략(전체 테스트 세트, 훈련 세트, 가장 이상적인 1% 또는 5% 샘플)을 기반으로 AUC 점수로 측정된다.
• 통계적 유의성은 프리드먼 검정과 임계 차이도를 사용하여 데이터셋 간 알고리즘 순위를 비교한다.
• 모델의 일관된 훈련, 테스트 및 비교를 보장하기 위해 표준화된 평가 프레임워크를 구현한다.
• 이상 점수는 복원 오차(오토에인코더 기반), 판별기 점수(GAN 기반), 또는 이 둘의 조합에서 유도된다.
• 실용성 평가를 위해 평균 예측 시간과 계산 비용도 분석에 포함된다.

실험 결과

연구 질문

• RQ1 생성적 딥 러닝 모델은 비이미지 기준 데이터셋에서 kNN 및 Isolation Forests와 같은 기존의 이상 탐지 기법을 체계적으로 능가하는가?
• RQ2 하이퍼파rameter 조정에 사용 가능한 이상 샘플 수가 적어질 경우 생성적 딥 러닝 모델의 성능는 어떻게 저하되는가?
• RQ3 이전 연구에서 관찰된 딥 러닝 모델의 우수한 성능은 유리한 하이퍼파rameter 선택 때문이었는가, 아니면 본질적인 모델 우수성 때문인가?
• RQ4 고도로 발전한 생성적 딥 러닝 모델이 존재하더라도 kNN은 여전히 강건한 베이스라인으로 간주될 수 있는가?
• RQ5 제한된 레이블이 부여된 이상 샘플만 존재할 경우 하이퍼파rameter 선택에 가장 효과적인 기준은 무엇인가?

주요 결과

• VAE 및 fmGAN과 같은 생성적 딥 러닝 모델은 전체 테스트 세트와 같은 많은 수의 알려진 이상 샘플을 사용해 하이퍼파rameter를 조정할 경우에만 kNN을 능가한다.
• 가장 이상적인 1% 또는 5%의 샘플만 사용해 하이퍼파rameter를 조정할 경우 생성적 모델은 항상 kNN에 뒤지며, kNN은 모든 설정에서 강건성을 유지한다.
• 프리드먼 검정은 모든 모델이 동일한 성능을 보인다는 귀무가설을 기각하여, 다양한 방법 간 성능에 통계적으로 유의미한 차이가 있음을 시사한다.
• 모든 하이퍼파rameter 선택 기준, 특히 가장 현실적인 기준(가장 이상적인 1% 및 5% 이상 샘플)에서도 kNN은 어떤 생성적 모델에 의해서도 능가되지 않는다.
• VAE는 모든 조정 기준에서 가장 일관된 성능를 보이며, 생성적 딥 러닝 모델 중에서 가장 강건한 성능를 보임을 시사한다.
• 딥 러닝 모델은 훈련 세트 크기와 무관하게 추론이 이루어지므로 대규모 데이터셋에서 더 빠른 예측 시간을 보이지만, 이는 높은 훈련 비용으로 상쇄된다.