[논문 리뷰] Multivariate Time-series Anomaly Detection via Graph Attention Network

Hang Zhao, Yujing Wang외 8명|arXiv (Cornell University)|2020. 09. 04.

Anomaly Detection Techniques and Applications참고 문헌 25인용 수 30

한 줄 요약

MTAD-GAT은 dual graph attention layers를 통해 다변량 시계열에서 특징 간 인터피처 및 시간 의존성을 명시적으로 모델링하고, 이상 탐지를 위한 예측 및 재구성 목표를 공동 최적화한다.

ABSTRACT

Anomaly detection on multivariate time-series is of great importance in both data mining research and industrial applications. Recent approaches have achieved significant progress in this topic, but there is remaining limitations. One major limitation is that they do not capture the relationships between different time-series explicitly, resulting in inevitable false alarms. In this paper, we propose a novel self-supervised framework for multivariate time-series anomaly detection to address this issue. Our framework considers each univariate time-series as an individual feature and includes two graph attention layers in parallel to learn the complex dependencies of multivariate time-series in both temporal and feature dimensions. In addition, our approach jointly optimizes a forecasting-based model and are construction-based model, obtaining better time-series representations through a combination of single-timestamp prediction and reconstruction of the entire time-series. We demonstrate the efficacy of our model through extensive experiments. The proposed method outperforms other state-of-the-art models on three real-world datasets. Further analysis shows that our method has good interpretability and is useful for anomaly diagnosis.

연구 동기 및 목표

• 다변량 시계열 이상 탐지에서 특성 간 교차 상관 관계를 포착할 필요성을 동기화한다.
• 두 개의 병렬 그래프 어텐션 레이어로 특성 및 시간 의존성을 모델링하는 자기지도 학습 프레임워크를 제안한다.
• 예측 기반 모델과 재구성 기반 모델을 함께 최적화하여 표현을 강화한다.
• 이상 진단 및 근본 원인 분석을 위한 해석 가능한 어텐션 기반 인사이트를 제공한다.

제안 방법

• 특성 지향 GAT 계층을 위해 각 시계열 특징을 완전 그래프의 노드로 표현한다.
• 시간 지향 GAT 계층을 위해 슬라이딩 윈도우 내의 각 타임스탬프를 완전 그래프의 노드로 표현한다.
• 로컬 및 장기 시간 패턴을 포착하기 위해 GAT 출력과 1-D 컨볼루션 및 GRU를 결합한다.
• 손실 = Loss_for + Loss_rec로 예측 기반 모델(다음 스텝 예측)과 재구성 기반 모델(VAE)을 함께 최적화한다.
• 추론 점수를 타임스탬프별로 예측 오차와 재구성 확률을 결합하여 계산한 뒤, Peak Over Threshold (POT)를 통해 이상을 탐지한다.
• 특정 기능 수준 점수를 순위화하여 잠재적 근본 원인을 식별하는 이상 진단을 제공한다.

실험 결과

연구 질문

• RQ1 그래프 어텐션을 통한 인터피처 상관 관계의 명시적 모델링이 기저 모델들에 비해 다변량 이상 탐지 성능을 향상시키는가?
• RQ2 예측 기반과 재구성 기반 목표를 결합하면 더 나은 표현과 탐지 성능을 얻을 수 있는가?
• RQ3 두 개의 GAT 계층(특성 지향 및 시간 지향)이 탐지 정확도와 해석 가능성에 어떻게 기여하는가?
• RQ4 실시간 지연 고려를 포함한 다양한 실제 데이터셋 및 시나리오에서 방법이 효과적인가?
• RQ5 근본 원인 특성을 식별함으로써 의미 있는 이상 진단을 제공할 수 있는가?

주요 결과

방법	SMAP 정밀도	SMAP 재현율	SMAP F1	MSL 정밀도	MSL 재현율	MSL F1	TSA 정밀도	TSA 재현율	TSA F1
OmniAnomaly	0.7416	0.9776	0.8434	0.8867	0.9117	0.8989	0.7028	0.8039	0.7499
KitNet	0.7725	0.8327	0.8014	0.6312	0.7936	0.7031	0.5579	0.8012	0.6577
GAN-Li	0.6710	0.8706	0.7579	0.7102	0.8706	0.7823	0.5302	0.7551	0.6229
MAD-GAN	0.8049	0.8214	0.8131	0.8517	0.8991	0.8747	0.5510	0.8284	0.6620
LSTM-VAE	0.8551	0.6366	0.7298	0.5257	0.9546	0.6780	0.6970	0.7736	0.7333
LSTM-NDT	0.8965	0.8846	0.8905	0.5934	0.5374	0.5640	0.5833	0.7232	0.6457
DAGMM	0.5845	0.9058	0.7105	0.5412	0.9934	0.7007	0.5351	0.8845	0.6668
MTAD-GAT	0.8906	0.9123	0.9013	0.8754	0.9440	0.9084	0.6951	0.9352	0.7975

• MTAD-GAT은 baselines와 비교했을 때 세 데이터셋(SMAP, MSL, TSA)에서 최첨단 F1 점수를 달성한다.
• 특성 지향 GAT 계층과 시간 지향 GAT 계층 각각이 성능에 기여하며, 어느 한 쪽을 제거해도 눈에 띄는 향상을 보인다.
• 예측 기반 및 재구성 기반 모델의 공동 최적화가 두 목표 중 하나만 사용할 때보다 이상 탐지 성능을 더 좋게 만든다.
• MTAD-GAT은 TSA에서 최상의 기준선 대비 F1을 최대 9% 포인트까지 향상시키고 지연 및 다양한 시나리오에 대해 견고함을 보인다.
• 모델은 해석 가능한 주의 패턴과 기능 수준 점수의 순위를 통해 효과적인 이상 진단을 제공한다.