[논문 리뷰] NVAE-GAN Based Approach for Unsupervised Time Series Anomaly Detection

Liang Xu, Liying Zheng외 7명|arXiv (Cornell University)|2021. 01. 08.

Anomaly Detection Techniques and Applications참고 문헌 15인용 수 7

한 줄 요약

이 논문은 단변량 시계열을 2차원 이미지로 변환하여 시간적 특징 추출을 향상시키고, NVAE 기반의 깊이 있는 계층적 VAE를 활용해 복원 성능을 향상시키며, GAN 기반 학습을 통합하여 과적합을 감소시키는 비지도 시계열 이상 탐지 모델인 T2IVAE를 제안한다. 이 모델은 NAB에서 F1 스코어 0.639, NASA에서 0.651, 실세계 데이터셋에서 0.504를 기록하여 DONUT 및 TADGAN과 같은 기존 방법들을 능가한다.

ABSTRACT

In recent studies, Lots of work has been done to solve time series anomaly detection by applying Variational Auto-Encoders (VAEs). Time series anomaly detection is a very common but challenging task in many industries, which plays an important role in network monitoring, facility maintenance, information security, and so on. However, it is very difficult to detect anomalies in time series with high accuracy, due to noisy data collected from real world, and complicated abnormal patterns. From recent studies, we are inspired by Nouveau VAE (NVAE) and propose our anomaly detection model: Time series to Image VAE (T2IVAE), an unsupervised model based on NVAE for univariate series, transforming 1D time series to 2D image as input, and adopting the reconstruction error to detect anomalies. Besides, we also apply the Generative Adversarial Networks based techniques to T2IVAE training strategy, aiming to reduce the overfitting. We evaluate our model performance on three datasets, and compare it with other several popular models using F1 score. T2IVAE achieves 0.639 on Numenta Anomaly Benchmark, 0.651 on public dataset from NASA, and 0.504 on our dataset collected from real-world scenario, outperforms other comparison models.

연구 동기 및 목표

• 노이즈가 많고 복잡하며 불균형한 데이터를 가진 실세계 환경에서 비지도 시계열 이상 탐지의 과제를 해결하기 위해.
• 단변량 시계열의 시간적 상관관계 표현을 향상시켜 복원 성능과 이상 탐지 정확도를 향상시키기 위해.
• 저자료 환경에서 과적합을 줄이기 위해 생성적 적대적 네트워크(GAN) 학습 전략을 VAE 프레임워크에 통합하기 위해.
• 공개 벤치마크(NAB, NASA) 및 실세계 산업 데이터셋을 포함한 다양한 데이터셋에서 모델의 효과성을 평가하기 위해.

제안 방법

• 1차원 단변량 시계열을 시간적 의존성과 상관관계를 더 잘 포착할 수 있도록 2차원 이미지 표현으로 변환하기 위해.
• 다중 잠재 샘플링 수준을 통해 복잡한 다중 척도 시간 패턴을 모델링하기 위해 NVAE 기반의 깊이 있는 계층적 변분 오토인코더(VAE)를 사용하기 위해.
• 복원 손실을 주요 이상 탐지 스코어 지표로 사용하며, 높은 오차는 잠재적 이상을 나타낸다.
• 학습의 마지막 단계에서 학습 안정화와 과적합 감소를 위해 GAN 기반 학습 전략을 도입하기 위해.
• 복원 오차 분포에 기반해 이상 경계를 적응적으로 결정하기 위해 적응형 임계값 설정을 적용하기 위해.
• 라벨이 부여된 이상 예측이 필요 없이 비지도 방식으로 모델을 종합적으로 학습하기 위해.

실험 결과

연구 질문

• RQ1 1차원 시계열을 2차원 이미지로 변환하는 것이 이상 탐지에 있어 시간적 상관관계 표현을 향상시키는 데 기여하는가?
• RQ2 NVAE 기반의 계층적 VAE 아키텍처는 표준 VAE보다 단변량 시계열에서 더 나은 복원 및 이상 탐지 성능을 제공하는가?
• RQ3 GAN 기반 학습 전략은 비지도 시계열 이상 탐지에서 과적합을 효과적으로 줄이고 일반화 성능을 향상시키는 데 기여하는가?
• RQ4 T2IVAE는 다양한 실세계 및 벤치마크 데이터셋에서 DONUT 및 TADGAN과 같은 최신 기법들과 비교해 어떻게 성능을 내는가?

주요 결과

• T2IVAE는 Numenta 이상 벤치마크(NAB)에서 F1 스코어 0.639를 기록하여 다른 비교 모델들을 능가했다.
• NASA 공개 데이터셋에서 T2IVAE는 F1 스코어 0.651을 기록하여 테스트된 모든 모델 중 두 번째로 높은 성능을 보였으며, TADGAN만이 略히 뛰어났다.
• 산업용 네트워크 스위치에서 수집한 실세계 데이터셋에서 T2IVAE_GAN(제안된 GAN 학습)은 F1 스코어 0.504를 기록하여 Luminol, DONUT, TADGAN을 모두 앞섰다.
• GAN 피니팅 전략은 밸류 벤치마크 및 실세계 데이터셋 모두에서 성능 향상을 이끌어내어 과적합 감소에 효과적임을 확인했다.
• 2차원 이미지 변환, 계층적 VAE 아키텍처, GAN 학습의 조합은 표준 VAE 및 오토인코더 기반 모델 대비 일관된 성능 향상을 이끌어냈다.
• T2IVAE는 다양한 데이터 분포에 대해 강건성을 보였으며, 라벨가능한 이상 데이터가 적고 패턴이 복잡한 실세계 데이터에서 뛰어난 성능을 보였다.