[논문 리뷰] Self-adversarial Variational Autoencoder with Gaussian Anomaly Prior Distribution for Anomaly Detection.

Xuhong Wang, Ying Du외 3명|arXiv (Cornell University)|2019. 03. 03.

Anomaly Detection Techniques and Applications참고 문헌 52인용 수 14

한 줄 요약

이 논문은 비지도 이상 탐지 성능을 햖을 수 있도록 정규 분포 이상 우선순위를 도입한 자기적대적 변동 자동인코더를 제안한다. 정규 분포 변환기를 사용해 근사 정상 상태의 이상 잠재 변수를 합성하고, 생성자 및 인코더에 적대적 목표를 추가함으로써 모델은 식별 능력을 향상시키고 과적합을 줄인다. 이는 벤치마크 데이터셋에서 최고 수준의 성능을 달성한다.

ABSTRACT

Recently, deep generative models have become increasingly popular in unsupervised anomaly detection. However, deep generative models aim at recovering the data distribution rather than detecting anomalies. Besides, deep generative models have the risk of overfitting training samples, which has disastrous effects on anomaly detection performance. To solve the above two problems, we propose a Self-adversarial Variational Autoencoder with a Gaussian anomaly prior assumption. We assume that both the anomalous and the normal prior distribution are Gaussian and have overlaps in the latent space. Therefore, a Gaussian transformer net T is trained to synthesize anomalous but near-normal latent variables. Keeping the original training objective of Variational Autoencoder, besides, the generator G tries to distinguish between the normal latent variables and the anomalous ones synthesized by T, and the encoder E is trained to discriminate whether the output of G is real. These new objectives we added not only give both G and E the ability to discriminate but also introduce additional regularization to prevent overfitting. Compared with the SOTA baselines, the proposed model achieves significant improvements in extensive experiments. Datasets and our model are available at a Github repository.

연구 동기 및 목표

• 깊이 있는 생성 모델이 데이터 분포를 학습함에도 불구하고 이상 탐지 능력에 한계가 있음을 해결하기 위해.
• 학습 샘플에 과적합되는 것을 방지하여 이상 탐지 성능이 악화되는 것을 완화하기 위해.
• 잠재 공간에서의 적대적 훈련을 도입하여 모델의 식별 능력을 향상시키기 위해.
• 정상 및 이상 데이터 분포를 모두 잠재 공간에서 정규 분포로 수식화하여 이상 샘플의 제어된 합성을 가능하게 하기 위해.

제안 방법

• 정상 및 이상 데이터가 모두 잠재 공간에서 정규 분포를 따른다고 가정하여 현실적인 이상 모델링을 위한 겹침을 가능하게 한다.
• 근사 정상 상태이지만 구분 가능한 이상 잠재 변수를 합성하기 위해 정규 분포 변환기 네트워크 T를 도입한다.
• 기존 VAE 목표를 유지하면서 적대적 훈련을 추가한다: 생성자 G는 실제 정상 잠재 변수와 합성된 이상 잠재 변수를 구분한다.
• 인코더 E는 생성자의 출력이 진짜인지 가짜인지 식별하도록 훈련되어 식별 능력이 향상된다.
• 적대적 훈련은 정규 학습 샘플에 대한 과적합을 줄이는 정규화 효과를 제공한다.
• 재구성, KL 발산, 적대적 목표를 함께 최적화하여 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 잠재 공간에서 정상 및 이상 데이터에 공통된 정규 분포 우선순위를 도입함으로써, 명시적인 이상 데이터가 없이도 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 잠재 공간에서의 적대적 훈련은 과적합을 방지하면서 모델의 이상 탐지 능력을 어떻게 향상시키는가?
• RQ3 표준 VAE에 비해 합성 이상 우선순위를 도입함으로써 일반화 능력 향상 정도는 어느 정도인가?
• RQ4 추가적인 감독 없이도 자기적대적 메커니즘이 정상 및 이상 샘플 간의 식별 능력을 향상시킬 수 있는가?

주요 결과

• 제안된 모델은 비지도 이상 탐지에 대한 여러 벤치마크 데이터셋에서 최고 수준의 성능을 달성한다.
• 적대적 훈련 구성 요소가 정규 학습 샘플에 대한 과적합을 크게 줄여 일반화 능력을 향상시킨다.
• 정규 분포 변환기가 정상 분포에 가까우나 구분 가능한 현실적인 이상 잠재 변수를 성공적으로 생성한다.
• 추가된 적대적 목표 덕분에 재구성 품질을 유지하면서도 이상 식별 능력을 향상시킨다.
• 제거 실험 결과, 정규 분포 이상 우선순위와 자기적대적 메커니즘이 성능 향상에 기여한다는 것이 확인된다.
• 모델의 코드와 데이터셋은 GitHub에 공개되어 있어 재현성과 향후 연구를 촉진한다.