[논문 리뷰] Deep Generative model with Hierarchical Latent Factors for Time Series Anomaly Detection

Cristian Challú, Peihong Jiang외 2명|arXiv (Cornell University)|2022. 02. 15.

Anomaly Detection Techniques and Applications인용 수 9

한 줄 요약

이 논문은 계층적 잠재 공간과 상향식 ConvNet을 사용하여 시간 시리즈 창을 효율적으로 재구성하는 딥 생성 모델 DGHL을 제안한다. 교대로 시행되는 역전파와 단기 MCMC를 통해 훈련되며, RNN 기반 모델 대비 최대 10배 빠른 훈련 속도를 기록하고, 누락 데이터(최대 90% 누락) 및 변수 특성에 대해 뛰어난 내성성을 보이며, 네 가지 벤치마크 데이터셋에서 최신 기술(SOTA)을 초월한다.

ABSTRACT

Multivariate time series anomaly detection has become an active area of research in recent years, with Deep Learning models outperforming previous approaches on benchmark datasets. Among reconstruction-based models, most previous work has focused on Variational Autoencoders and Generative Adversarial Networks. This work presents DGHL, a new family of generative models for time series anomaly detection, trained by maximizing the observed likelihood by posterior sampling and alternating back-propagation. A top-down Convolution Network maps a novel hierarchical latent space to time series windows, exploiting temporal dynamics to encode information efficiently. Despite relying on posterior sampling, it is computationally more efficient than current approaches, with up to 10x shorter training times than RNN based models. Our method outperformed current state-of-the-art models on four popular benchmark datasets. Finally, DGHL is robust to variable features between entities and accurate even with large proportions of missing values, settings with increasing relevance with the advent of IoT. We demonstrate the superior robustness of DGHL with novel occlusion experiments in this literature. Our code is available at https://github.com/cchallu/dghl.

연구 동기 및 목표

• IoT 시스템에서 흔히 발생하는 누락 데이터 및 변수 특성 처리에 어려움을 겪는 기존 재구성 기반 모델의 한계를 해결하기 위해.
• 에ncoder나 디세리미네이터와 같은 보조 네트워크에 의존하지 않는 계산 효율성이 뛰어난 다변량 시간 시리즈 이상 탐지용 생성 모델을 개발하기 위해.
• 센서 고장이나 이질적인 데이터 소스와 같은 실제 데이터 손상 상황에서도 모델의 내성성과 성능을 향상시키기 위해.
• 시간 시리즈 이상 탐지 분야의 벤치마킹 및 향후 연구를 위해 재현 가능하고 오픈소스로 구현된 모델을 제공하기 위해.

제안 방법

• 각 수준 l에서 a_l개의 연속된 하위 창에 대해 잠재 벡터가 묶이는 새로운 계층적 잠재 공간을 제안하여 시간 동적 특성을 효율적으로 인코딩한다.
• 시간 시리즈 창으로의 매핑을 위해 상향식 ConvNet을 생성기로 활용하여 공간적 및 시간적 구조를 활용한다.
• 별도의 추론 네트워크가 필요 없도록, 역전파를 교대로 시행하여 관측된 우도를 최대화함으로써 모델을 훈련시킨다.
• 잠재 변수의 사후 샘플링을 위해 단기 MCMC를 사용하여 보조 네트워크 없이 엔드 투 엔드 훈련을 가능하게 한다.
• 재구성 품질과 이상 탐지 성능을 직접 최적화하는 우도 기반 훈련 목표를 도입한다.
• 계층적 인자 분해를 통해 장기적 시간 의존성을 학습함으로써 장기 예측 및 재구성 기능을 지원한다.

실험 결과

연구 질문

• RQ1 계층적 잠재 공간을 갖춘 딥 생성 모델이 훈련 시간을 줄이며 다변량 시간 시리즈 이상 탐지에서 최신 기술(SOTA) 성능을 달성할 수 있는가?
• RQ2 IoT 시스템에서 흔한 누락 값과 변수 특성과 같은 실제 데이터 조건에서 모델의 성능는 어떠한가?
• RQ3 제안된 계층적 잠재 표현이 평탄하거나 비계층적 잠재 공간에 비해 재구성 품질과 이상 탐지 정확도를 향상시킬 수 있는가?
• RQ4 에ncoder나 디세리미네이터와 같은 보조 네트워크 없이 우도 최대화에 의존할 경우 모델이 높은 성능을 유지할 수 있는가?
• RQ5 학습된 표현의 품질을 나타내는 바탕으로, 모델이 분포 외 또는 외삽된 시간 시리즈 창으로 일반화되는가?

주요 결과

• DGHL은 SMD와 NAB를 포함한 네 가지 유명한 벤치마크 데이터셋에서 현재 최신 기술(SOTA) 모델을 초월하며 AUC 및 F1 점수에서 일관된 향상을 보였다.
• RNN 기반 모델 대비 최대 10배 빠른 훈련 속도를 기록하여, MCMC 샘플링을 사용함에도 불구하고 뛰어난 계산 효율성을 입증했다.
• 입력 값의 최대 90%가 누락된 상황에서도 최신 기술(SOTA) 성능을 유지하여 데이터 손상에 대해 뛰어난 내성성을 입증했다.
• 제거 분석 결과 계층적 잠재 공간과 교대로 시행되는 역전파가 성능 향상에 상호보완적으로 기여함을 확인했다.
• 정성적 분석 결과, 잠재 표현이 연속성과 외삽 능력을 보이며, 보간 및 외삽을 통한 의미 있는 시간 시리즈 생성이 가능했다.
• 모델는 예측 작업으로도 효과적으로 재사용 가능하여 시간 시리즈 학습 목표 전반에 걸쳐 유연성을 보였다.