[논문 리뷰] Latent space conditioning for improved classification and anomaly detection

Erik Norlander, Alexandros Sopasakis|arXiv (Cornell University)|2019. 11. 24.

Anomaly Detection Techniques and Applications참고 문헌 26인용 수 13

한 줄 요약

이 논문은 조건부 잠재공간변량자기오차기(C-VAE)를 제안하며, 각 클래스에 대해 별도의 가우시안 혼합모형(GMM) 사전분포를 사용하여 알려진 클래스 레이블에 따라 VAE의 잠재공간을 조건화함으로써 클러스터링 및 이상 탐지 성능을 향상시킨다. 이는 MNIST 및 실제 거래 데이터에서 표준 VAE와 기존 이상 탐지 방법보다 뛰어난 성능을 보이며, 특히 클래스 불균형 또는 노이즈가 많은 데이터에서 비지도 학습 설정에서 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a new type of variational autoencoder to perform improved pre-processing for clustering and anomaly detection on data with a given label. Anomalies however are not known or labeled. We call our method conditional latent space variational autonencoder since it separates the latent space by conditioning on information within the data. The method fits one prior distribution to each class in the dataset, effectively expanding the prior distribution to include a Gaussian mixture model. Our approach is compared against the capabilities of a typical variational autoencoder by measuring their V-score during cluster formation with respect to the k-means and EM algorithms. For anomaly detection, we use a new metric composed of the mass-volume and excess-mass curves which can work in an unsupervised setting. We compare the results between established methods such as as isolation forest, local outlier factor and one-class support vector machine.

연구 동기 및 목표

• 클래스 불균형, 결측치, 잘못된 레이블링, 겹치는 클래스 등 실제 데이터에서 클러스터링 및 이상 탐지 문제를 해결하기 위해.
• 알려진 클래스 레이블에 따라 VAE의 잠재공간을 조건화하여 비지도 학습 성능을 향상시키고, 데이터 분포 간의 더 나은 분리가 가능하도록 하기 위해.
• 후속 분석을 위한 차원 감소를 수행하면서도 관계 기반 특징 정보를 유지하는 방법을 개발하기 위해.
• 새로운 평가 지표를 사용하여 평가하기 위해, 이상 탐지에 대한 EM-MV 지표와 클러스터링에 대한 V-스코어 지표를 비지도 및 지도 학습 설정 모두에서 사용하기 위해.
• MNIST 및 실제 거래 데이터 등 다양한 현실적인 데이터셋에서 데이터 품질 문제를 내재적으로 포함한 데이터에 대해 효과성을 입증하기 위해.

제안 방법

• CL-VAE는 각 클래스에 대해 별도의 사전분포(Gaussian)를 적합시켜 가우시안 혼합모형(GMM) 사전분포를 형성함으로써 잠재공간을 클래스 레이블에 따라 조건화한다.
• 표준 VAE 손실 함수를 수정하여 클래스별 KLD 정규화를 포함함으로써 각 클래스의 잠재 표현이 할당된 사전분포를 따르도록 보장한다.
• 에코더는 입력 데이터를 잠재 벡터로 매핑하고, 디코더는 잠재 코드로부터 입력을 재구성하며 재구성 오차를 최소화한다.
• 이 방법은 클래스 조건부 사전분포를 사용하여 단일 공유 사전분포를 가정하지 않고도 각 클래스에 대해 별도의 잠재 다양체를 학습할 수 있도록 한다.
• 클러스터링 성능 평가를 위해 조건부 잠재공간에 대해 k-means 및 EM 클러스터링을 적용하고, V-스코어 지표를 사용한다.
• 이상 탐지에 대해, 비지도 설정에서 성능을 평가하기 위해 질량-체적(Mass-Volume) 및 초과질량(Excess-Mass) 곡선을 통합한 EM-MV 지표를 도입한다.

실험 결과

연구 질문

• RQ1 알려진 클래스 레이블에 따라 VAE의 잠재공간을 조건화하는 것이 표준 VAE보다 클러스터링 성능을 향상시키는가?
• RQ2 CL-VAE는 Isolation Forest, LOF, One-Class SVM와 같은 기존 이상 탐지 방법보다 비지도 설정에서 성능이 뛰어나게 되는가?
• RQ3 제안된 EM-MV 지표는 레이블이 없는 이상 탐지 성능 평가에 얼마나 효과적인가?
• RQ4 CL-VAE는 실제 응용에서 클래스 불균형, 잘못된 레이블링, 결측 특징 등의 데이터 문제를 어느 정도 효과적으로 다룰 수 있는가?
• RQ5 잠재공간을 두 개의 차원으로 축소하여 시각화 및 분석을 할 경우, CL-VAE는 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• k-means 및 EM 알고리즘을 사용하여 MNIST 및 실제 거래 데이터에서 평가한 결과, CL-VAE는 V-스코어로 측정된 클러스터링 성능이 표준 VAE보다 뚜렷이 향상됨을 보였다.
• MNIST 데이터셋에서 CL-VAE는 기준 VAE보다 더 높은 V-스코어를 기록하여 더 나은 클러스터 분리 및 순도를 나타내었다.
• 비지도 설정에서 이상 탐지 성능 평가에 대해 EM-MV 지표가 뛰어난 성능을 보였으며, 실제 거래 데이터셋에서 Isolation Forest, LOF, One-Class SVM를 모두 초월하였다.
• 이 방법은 클래스 불균형 및 잘못된 레이블링이 있는 데이터를 효과적으로 처리하여 실제 응용에서 뛰어난 내성적 특성을 보였다.
• 잠재공간의 조건화를 통해 클래스별 특징의 더 나은 분리가 가능해져 후속 클러스터링 및 이상 탐지 성능 향상에 기여하였다.
• 클래스별 GMM 사전분포를 사용함으로써 단일 가우시안 사전분포보다 더 복잡한 다중모달 데이터 분포를 효과적으로 포착할 수 있었다.