[논문 리뷰] VELC: A New Variational AutoEncoder Based Model for Time Series Anomaly Detection

Chunkai Zhang, Shaocong Li외 2명|arXiv (Cornell University)|2019. 07. 03.

Anomaly Detection Techniques and Applications참고 문헌 24인용 수 33

한 줄 요약

VELC는 재인코더와 잠재 공간 제약 네트워크를 갖춘 VAE를 도입하여 재구성과 잠재 공간 간의 불일치를 두 공간에서 평가함으로써 시계열 이상 탐지 성능을 향상시키고, 여러 데이터셋에서 베이스라인을 능가합니다.

ABSTRACT

Anomaly detection is a classical but worthwhile problem, and many deep learning-based anomaly detection algorithms have been proposed, which can usually achieve better detection results than traditional methods. In view of reconstruct ability of the model and the calculation of anomaly score, this paper proposes a time series anomaly detection method based on Variational AutoEncoder model(VAE) with re-Encoder and Latent Constraint network(VELC). In order to modify reconstruct ability of the model to prevent it from reconstructing abnormal samples well, we add a constraint network in the latent space of the VAE to force it generate new latent variables that are similar with that of training samples. To be able to calculate anomaly score in two feature spaces, we train a re-encoder to transform the generated data to a new latent space. For better handling the time series, we use the LSTM as the encoder and decoder part of the VAE framework. Experimental results of several benchmarks show that our method outperforms state-of-the-art anomaly detection methods.

연구 동기 및 목표

• 고차원 시계열에 대한 강건한 비지도 이상 탐지의 동기를 부여한다.
• 정상 데이터의 재구성 정확도를 높이고 이상 샘플의 재구성을 제한하는 VAE 기반 프레임워크를 개발한다.
• 원래 특징 공간과 잠재 특징 공간 모두에서 이상 점수를 가능하게 하여 탐지 정확성을 높인다.
• 잠재 공간에 제약 네트워크를 도입하여 보지 않은 이상에 대한 과 일반화를 방지한다.

제안 방법

• 정상 시계열을 모델링하기 위해 VAE 내에 양방향 LSTM 인코더/디코더를 사용한다.
• 재구성된 데이터의 새로운 잠재 공간으로 매핑하고 새로운 잠재 변수를 생성하는 재인코더를 도입한다.
• 정상 잠재 벡터를 희소성 및 코사인 유사도 기반 방식으로 결합하여 이상 재구성을 제약하는 잠재 공간 제약 네트워크를 추가한다.
• 정상 데이터에서 학습하기 위한 다항식 손실 L_VELC = L_rec_x + L_KL1 + L_lat + L_KL2를 정의한다.
• 재구성 오차와 잠재 공간 서로 다름의 가중합으로 이상 점수 A(x) = alpha||x−x'||1 + beta||z'−re_z'||1을 계산하고 [0,1]로 정규화한다.
• 이상 탐지에서 두 가지 특징 공간(원시 공간과 잠재 공간)을 활용하여 판별성을 높인다.

실험 결과

연구 질문

• RQ1 VELC 프레임워크가 다양한 시계열 데이터셋에서 최첨단 방법들보다 이상 탐지 성능을 향상시키는가?
• RQ2 재인코더와 잠재 제약 네트워크의 도입이 정상 샘플과 이상 샘플의 재구성과 잠재 공간 오차에 어떤 영향을 주는가?
• RQ3 두 공간(원시 공간과 잠재 공간)에서의 이상 점수 부여가 단일 공간 점수보다 더 정확한 탐지를 제공하는가?
• RQ4 알고리즘의 이상 점수 매개변수 설정(alpha, beta)이 전반적인 성능에 어떤 영향을 미치는가?

주요 결과

이름	OUR*	ANOGAN	ALAD	MLP-VAE	IForest
KDD99	0.958	0.887	0.950	0.622	0.929
Arrhythmia	0.789	0.576	0.648	0.747	0.530
ItalyPowerDemand	0.807	0.516	0.538	0.768	0.763
TwoLeadECG	0.948	0.554	0.515	0.731	0.760
GunPointAgeSpan	0.844	0.515	0.547	0.821	0.612
MoteStrain	0.801	0.746	0.504	0.750	0.762
ToeSegmentation2	0.835	0.547	0.544	0.816	0.787
Herring	0.722	0.488	0.569	0.627	0.698
Wafer	0.967	0.558	0.587	0.790	0.847
ECGFiveDays	0.988	0.970	0.694	0.910	0.678

• VELC는 열 개의 데이터셋에서 여러 베이스라인(AnoGAN, ALAD, MLP-VAE, Isolation Forest)을 상회한다.
• KDD99에서 VELC는 AUC 0.958로 다음으로 좋은 방법(ANOGAN) 0.887을 크게 상회한다.
• 데이터셋 전반에 걸쳐 VELC는 베이스라인 대비 약 1%–5%의 상대적 이점을 보여준다.
• 알파=0.6, 베타=0.4 근처의 이상 점수 매개설정이 강력한 평균 성능을 제공한다.
• 잠재 공간 제약은 보지 못한 이상에 대한 과도한 재구성을 방지하여 탐지 견고성을 향상시킨다.
• 시각화 결과 정상 샘플은 매끄럽게 재구성되는 반면 이상은 재구성 및 잠재 공간 차이에서 더 큰 차이를 보인다.