[논문 리뷰] Deep Variational Semi-Supervised Novelty Detection

Tal Daniel, Thanard Kurutach외 1명|arXiv (Cornell University)|2019. 11. 12.

Anomaly Detection Techniques and Applications참고 문헌 47인용 수 4

한 줄 요약

이 논문은 변분 자동차오디터(VAE)를 사용한 준감독형 이상 탐지에 대해, 훈련 중에 이방성 데이터를 명시적으로 모델링하는 두 가지 원리적인 변분 추론 방법—이중사전 VAE(Dual-Prior VAE)와 CUBO-정규화 VAE—을 제안한다. 인코더가 정상 및 이상 잠재 표현을 분리하도록 유도함으로써, 이미지, 의료, 천문학 데이터를 포함한 다양한 데이터셋에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다. 이는 정상 이상 데이터의 비율이 1%일 경우에도 성립한다.

ABSTRACT

In anomaly detection (AD), one seeks to identify whether a test sample is abnormal, given a data set of normal samples. A recent and promising approach to AD relies on deep generative models, such as variational autoencoders (VAEs), for unsupervised learning of the normal data distribution. In semi-supervised AD (SSAD), the data also includes a small sample of labeled anomalies. In this work, we propose two variational methods for training VAEs for SSAD. The intuitive idea in both methods is to train the encoder to `separate' between latent vectors for normal and outlier data. We show that this idea can be derived from principled probabilistic formulations of the problem, and propose simple and effective algorithms. Our methods can be applied to various data types, as we demonstrate on SSAD datasets ranging from natural images to astronomy and medicine, can be combined with any VAE model architecture, and are naturally compatible with ensembling. When comparing to state-of-the-art SSAD methods that are not specific to particular data types, we obtain marked improvement in outlier detection.

연구 동기 및 목표

• 작은 수의 라벨된 이상 데이터가 존재할 때, 비감독 VAE가 분포 외 샘플을 탐지하는 데에 한계가 있음을 해결하기 위해.
• 훈련 중에 부정(이상) 예제를 명시적으로 고려하는 원리적인 확률적 프레임워크를 개발하기 위해.
• 정상 및 이상 잠재 표현을 분리하도록 VAE 목표를 수정함으로써 이상 탐지의 일반화 성능을 향상시키기 위해.
• 이중사전 VAE와 CUBO-정규화 VAE가 다양한 데이터 모odal, 즉 이미지, 의료 데이터, 텍스트 등에서의 유연성과 효능을 입증하기 위해.
• VAE 기반 이상 탐지에서 모델 앙상블의 원리적인 활용을 가능하게 하여 정밀도와 성능을 향상시키기 위해.

제안 방법

• 정상 및 이방성 데이터에 대해 별도의 사전 분포를 사용하는 이중사전 VAE(DP-VAE)를 제안하며, 이는 인코더가 이방성 데이터를 별도의 잠재 공간으로 매핑하도록 유도한다.
• 표준 ELBO와 카이상한 경계(CUBO)를 조합한 CUBO-정규화 VAE를 도입하여, 정상 데이터의 가능도를 극대화하고 이방성 데이터의 가능도를 최소화하는 동시에 최적화를 수행한다.
• 두 방법 모두 준감독 이상 탐지 문제의 원리적인 확률적 공식화에서 유도되며, 이론적 기반을 확보한다.
• 기존 모델과의 호환성을 보장하기 위해 어떤 VAE 아키텍처에도 적용 가능하며, 아키텍처 제약 없이 적용된다.
• 제안된 목표로 훈련된 다수의 VAE를 앙상블할 수 있으며, 이는 탐지 정확도를 향상시킨다.
• 훈련 중에 부정 예제를 통합함으로써, 이상 탐지 외의 작업인 운동 계획 및 감성 분석 등에도 일반화 가능함을 보여준다.

실험 결과

연구 질문

• RQ1 소량의 라벨된 이방성 예제가 존재할 때, 원리적인 확률적 공식화가 VAE 기반 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 VAE 훈련 목표는 어떻게 수정되어야 정상 및 이상 잠재 표현을 명시적으로 분리할 수 있는가?
• RQ3 심지어 1%의 라벨된 이상 데이터를 포함시켜도 다양한 데이터 유형에서 탐지 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 방법은 모델 앙상블과 효과적으로 조합되어 탐지 성능을 추가로 향상시킬 수 있는가?
• RQ5 이 방법은 이상 탐지 외에도 부정 예제가 존재하는 다른 생성 모델링 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 DP-VAE 및 CUBO-정규화 VAE는 CIFAR-10, 위성, 심장질환 데이터셋을 포함한 종합적인 준감독 이상 탐지(SAAD) 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 AUROC 점수를 달성한다.
• 1% 이상 데이터가 포함된 CIFAR-10에서, 동결된 디코더와 5개 모델의 앙상블를 사용할 경우 AUROC가 74.5 ± 8.4를 기록하며 이전 방법들을 능가한다.
• 단절 분석 결과, 정상 및 이방성 데이터에 대해 공통 인코더를 사용하는 것이 핵심이며, 제한된 이방성 데이터에서 디코더를 동결하는 것은 최소한의 이점을 제공한다.
• 운동 계획 작업에서 샘플 품질이 크게 향상된다: 표준 CVAE에 비해 DP-VAE는 충돌 가능성이 낮은 구성들을 생성한다(그림 3 참조).
• 이 방법은 이상 탐지 외에도 일반화 가능하며, 장애물 경계 샘플을 부정 예제로 통합함으로써 조건부 VAE를 로봇 운동 계획에 성공적으로 향상시켰다.
• 작은 비율의 라벨된 이상 데이터(1%)만으로도 이상 탐지 성능이 뚜렷이 향상되며, 이는 본 방법의 데이터 효율성과 함께 입증된다.