[논문 리뷰] Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder

Long-yuan Li, Junchi Yan외 2명|arXiv (Cornell University)|2021. 02. 02.

Anomaly Detection Techniques and Applications인용 수 16

한 줄 요약

이 논문은 다차원 시계열에서 강건한 이상 탐지에 적합한 스무스니스 유도 순차적 변동형 오토인코더(SISVAE)를 제안한다. VAE 프레임워크에 시간적 스무스니스 사전확률를 정규화 요소로 통합함으로써, 밀도 추정 및 재구성의 강건성을 향상시켜, 합성 및 실세계 벤치마크에서 최신 기술을 능가한다. 특히 점 수준 이상 및 부분 시퀀스 이상을 처리할 때 잦은 오류 탐지(거짓 양성 및 거짓 음성)를 줄여 성능을 향상시킨다.

ABSTRACT

Deep generative models have demonstrated their effectiveness in learning latent representation and modeling complex dependencies of time series. In this paper, we present a Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) model for robust estimation and anomaly detection of multi-dimensional time series. Our model is based on Variational Auto-Encoder (VAE), and its backbone is fulfilled by a Recurrent Neural Network to capture latent temporal structures of time series for both generative model and inference model. Specifically, our model parameterizes mean and variance for each time-stamp with flexible neural networks, resulting in a non-stationary model that can work without the assumption of constant noise as commonly made by existing Markov models. However, such a flexibility may cause the model fragile to anomalies. To achieve robust density estimation which can also benefit detection tasks, we propose a smoothness-inducing prior over possible estimations. The proposed prior works as a regularizer that places penalty at non-smooth reconstructions. Our model is learned efficiently with a novel stochastic gradient variational Bayes estimator. In particular, we study two decision criteria for anomaly detection: reconstruction probability and reconstruction error. We show the effectiveness of our model on both synthetic datasets and public real-world benchmarks.

연구 동기 및 목표

• 이상으로 오염된 다차원 시계열에서 강건한 밀도 추정 문제를 해결하기 위해.
• 시간 연속성과 정상 패턴을 보다 효과적으로 모델링하여 이상 탐지 성능을 향상시키기 위해.
• 시간에 따라 일정한 노이즈를 가정하지 않는 유연한 비정상성 생성 모델을 개발하기 위해.
• 비스무스한 재구성을 정규화하는 스무스니스 유도 사전확률를 도입하여 강건성을 향상시키기 위해.
• 실세계 및 합성 데이터를 사용하여 점 수준 및 부분 시퀀스 이상 탐지 작업에 대해 모델을 평가하기 위해.

제안 방법

• 모델은 시계열의 시간적 의존성을 포착하기 위해 추론 및 생성 네트워크 모두에 순환 신경망(RNN) 기반 아키텍처를 사용한다.
• 유연한 신경망을 사용하여 각 시간 단계에서 잠재 분포의 평균과 분산을 매개변수화함으로써, 일정한 노이즈를 가정하지 않는 비정상성 모델을 가능하게 한다.
• 비스무스한 재구성을 방지하는 정규화 요소로 새로운 스무스니스 유도 사전확률를 도입한다.
• 스티어티틱 그래디언트 변동형 베이즈 추정기법을 사용하여 변동형 하한(lower bound)를 최적화함으로써 모델을 훈련시킨다.
• 이상 탐지에 두 가지 결정 기준을 사용한다: 재구성 확률 및 재구성 오차.
• 스무스니스 사전확률를 VAE 목표 함수에 통합하여, 이상이 존재하는 상황에서도 스무스한 정상 패턴을 학습하도록 유도한다.

(a) inference model $q_{\phi}(\mathbf{z}|\mathbf{x})$

실험 결과

연구 질문

• RQ1 스무스니스 유도 사전확률를 갖춘 순차적 VAE는 이상으로 오염된 시계열에서 강건한 밀도 추정을 향상시킬 수 있는가?
• RQ2 제안된 스무스니스 사전확률는 표준 VAE에 비해 재구성 강건성을 어떻게 향상시키는가?
• RQ3 SISVAE 모델은 다차원 시계열에서 최신 기술의 비지도 이상 탐지 방법을 능가하는가?
• RQ4 모델은 실세계 및 합성 데이터에서 점 수준 및 부분 시퀀스 이상을 효과적으로 탐지할 수 있는가?
• RQ5 SISVAE의 성능은 다양한 잠재 차원 설정과 데이터 유형에서 얼마나 안정적인가?

주요 결과

• SISVAE-p는 SMD 및 NAB 벤치마크에서 STORN 및 Donut와 같은 모델을 능가하여 정밀도와 재현율 모두에서 뛰어난 성능을 보였다.
• SISVAE-p의 이상 탐지 점수는 다른 모델보다 더 스무스하여 정상 데이터의 변동에 대해 더 강건함을 나타낸다.
• Mackey-Glass 데이터셋에서 SISVAE-p는 ROC 및 PRC 곡선 모두에서 Donut를 능가했으며, 특히 부분 시퀀스 이상 탐지에서 두각을 나타냈다.
• 스무스니스 사전확률는 이상이 훈련 데이터에 존재하는 상황에서도 더 정확하고 안정적인 확률 밀도 함수 추정을 가능하게 하였다.
• SISVAE는 다양한 잠재 차원 설정에서 안정적인 성능을 보였지만, Donut의 성능은 z_dim 설정에 매우 민감하였다.
• 부분 시퀀스 이상 탐지에서 SISVAE-p는 대부분의 이상 윈도우를 성공적으로 식별했고, 반면 STORN 및 Donut는 높은 거짓 음성 및 거짓 양성 비율을 보였다.

(b) generative model $p_{\theta}(\mathbf{x}|\mathbf{z})$