[논문 리뷰] TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks

Alexander Geiger, Dongyu Liu외 3명|arXiv (Cornell University)|2020. 09. 16.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

TadGAN은 LSTM 기반 생성기와 비평가를 사용하여 주기적 상관관계를 고려한 비지도 시계열 이상 탐지 프레임워크를 제안한다. 사이클 일관성과 재구성 오차 계산을 통합하여, 곱셈을 통한 비평가 출력과 창 기반 재구성 오차의 융합을 통해 이상 탐지 성능을 향상시켰다. 이는 11개 데이터셋에서 평균 F1 스코어를 가장 높게 기록하며, 임의의 이상 탐지에서 양호한 성능과 낮은 거짓 양성률을 달성하였다.

ABSTRACT

Time series anomalies can offer information relevant to critical situations facing various fields, from finance and aerospace to the IT, security, and medical domains. However, detecting anomalies in time series data is particularly challenging due to the vague definition of anomalies and said data's frequent lack of labels and highly complex temporal correlations. Current state-of-the-art unsupervised machine learning methods for anomaly detection suffer from scalability and portability issues, and may have high false positive rates. In this paper, we propose TadGAN, an unsupervised anomaly detection approach built on Generative Adversarial Networks (GANs). To capture the temporal correlations of time series distributions, we use LSTM Recurrent Neural Networks as base models for Generators and Critics. TadGAN is trained with cycle consistency loss to allow for effective time-series data reconstruction. We further propose several novel methods to compute reconstruction errors, as well as different approaches to combine reconstruction errors and Critic outputs to compute anomaly scores. To demonstrate the performance and generalizability of our approach, we test several anomaly scoring techniques and report the best-suited one. We compare our approach to 8 baseline anomaly detection methods on 11 datasets from multiple reputable sources such as NASA, Yahoo, Numenta, Amazon, and Twitter. The results show that our approach can effectively detect anomalies and outperform baseline methods in most cases (6 out of 11). Notably, our method has the highest averaged F1 score across all the datasets. Our code is open source and is available as a benchmarking tool.

연구 동기 및 목표

• 라벨이 없는 데이터와 복잡한 시간적 상관관계가 존재하는 환경에서 비지도 시계열 이상 탐지의 과제를 해결하기 위해.
• 기존 딥 러닝 방법의 한계인 높은 거짓 양성률과 낮은 일반화 능력을 해결하기 위해, GAN과 재구성 기반 이상 탐지 스코어링을 융합하기 위해.
• 비평가 출력과 다수의 재구성 오차 유형(점 기반, 창 기반)을 곱셈으로 융합하여 이상 탐지의 견고성을 향상시키기 위해.
• 시계열 이상 탐지 방법을 평가하기 위한 모듈러하고 오픈소스 기반의 벤치마킹 프레임워크를 구축하기 위해.
• 후처리 단계에서 재구성 신호와 적대적 신호를 융합하는 것이 단일 구성 요소에 의존하는 것보다 우수한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 시계열 데이터의 시간적 의존성을 모델링하기 위해 LSTM 기반 생성기와 비평가를 사용한다.
• 재구성 정밀도를 향상시키고 시간적 일관성을 확보하기 위해 사이클 일관성 손실을 구현한다.
• 점 기반 및 창 기반 방법을 사용하여 재구성 오차를 계산하며, 동적 시간 왜곡(DTW)이 뛰어난 성능을 보였다.
• 비평가 스코어와 재구성 오차를 곱셈으로 융합하여 고이상 스코어를 강화하고 안정성을 향상시킨다.
• 어떤 재구성 기반 시계열 모델과도 통합 가능한 모듈러한 설계를 사용한다.
• 다단계 이상 탐지 스코어링 파이프라인을 적용한다: 생성기를 통해 입력을 재구성하고, 비평가를 통해 오차를 계산하며, 최종 이상 탐지를 위해 스코어를 융합한다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 레이블이 없는 시계열 데이터에서 점 이상과 집단 이상을 효과적으로 탐지할 수 있는가?
• RQ2 재구성 오차와 비평가 출력을 융합함으로써, 각각을 별도로 사용할 때보다 이상 탐지 성능이 향상되는가?
• RQ3 점 기반 또는 창 기반 중 어떤 재구성 오차 계산 방법이 더 견고하고 정확한 이상 탐지 성능을 낼 수 있는가?
• RQ4 비평가 스코어와 재구성 오차를 곱셈으로 융합하는 것이 볼록 조합보다 F1 스코어와 안정성 측면에서 뛰어난가?
• RQ5 TadGAN은 항공우주, 금융, 클라우드 컴퓨팅 등 다양한 분야의 실세계 데이터셋에 대해 일반화 가능한가?

주요 결과

• TadGAN은 모든 11개 데이터셋에서 평균 F1 스코어 0.629를 기록하여, 8개의 기준 모델을 모두 능가했다.
• 비평가 스코어와 창 기반 재구성 오차(특히 DTW)의 융합이 가장 우수한 성능을 보였으며, F1 스코어는 0.629였다.
• 재구성 오차와 비평가 스코어를 곱셈으로 융합하는 것이 볼록 조합보다 항상 뛰어나, 더 높은 F1 스코어와 낮은 표준편차를 기록했다.
• 비평가 스코어만을 사용할 경우 일부 데이터셋(A4, A3)에서 변동성이 크고 성능이 열악했으며, 평균 F1 스코어는 0.393였다.
• 창 기반 재구성 오차(DTW)만을 사용할 경우 MSL 데이터셋에서 F1 스코어는 0.514였지만, 융합 스코어는 0.623에 도달했다.
• TadGAN은 11개 데이터셋 중 6개에서 기준 모델을 능가하여 강력한 일반화 능력과 견고성을 입증했다.