[논문 리뷰] Learning Graph Neural Networks for Multivariate Time Series Anomaly Detection

Saswati Ray, Sana Lakdawala외 2명|arXiv (Cornell University)|2021. 11. 15.

Anomaly Detection Techniques and Applications참고 문헌 14인용 수 5

한 줄 요약

이 논문은 다변량 시계열에서 동적 센서 종속성을 학습하고 예측을 이방산성 가우시안 분포로 모델링함으로써 校정된 불확실성 추정을 제공하는 그래프 신경망 프레임워크인 GLUE를 제안한다. GLUE는 실세계의 WADI 및 NASA Turbofan 데이터셋에서 검증된 해석 가능한 불확실성 인식 임계값을 제공하면서 GDN과 동등한 이상 탐지 성능을 달성하며, 오픈소스 코드를 공개한다.

ABSTRACT

In this work, we propose GLUE (Graph Deviation Network with Local Uncertainty Estimation), building on the recently proposed Graph Deviation Network (GDN). GLUE not only automatically learns complex dependencies between variables and uses them to better identify anomalous behavior, but also quantifies its predictive uncertainty, allowing us to account for the variation in the data as well to have more interpretable anomaly detection thresholds. Results on two real world datasets tell us that optimizing the negative Gaussian log likelihood is reasonable because GLUE's forecasting results are at par with GDN and in fact better than the vector autoregressor baseline, which is significant given that GDN directly optimizes the MSE loss. In summary, our experiments demonstrate that GLUE is competitive with GDN at anomaly detection, with the added benefit of uncertainty estimations. We also show that GLUE learns meaningful sensor embeddings which clusters similar sensors together.

연구 동기 및 목표

• 기존 딥러닝 모델이 복잡한 변수 간 종속성을 모델링하지 못하고 신뢰할 수 없는 불확실성 추정을 제공하는 데서 비롯되는 한계를 해결하기 위해.
• 센서 간 구조적 종속성과 체계적이고 해석 가능한 방식으로 예측 불확실성을 정량화하는 방법을 개발하기 위해.
• 새로 도입된 NASA Turbofan 데이터셋을 포함한 실세계 데이터셋에서 제안된 접근법을 검증하여 강건성과 일반화 능력을 입증하기 위해.
• 재현 가능성을 보장하고 향후 불확실성 인식 이상 탐지 분야의 연구를 촉진하기 위해 오픈소스 코드를 공개하기 위해.

제안 방법

• GLUE는 각 시간 단계에서 센서 읽기 값을 이방산성 다변량 가우시안 분포에서의 표본으로 모델링하며, 평균 μ(x)와 분산 σ²(x)를 모두 예측한다.
• 학습 가능한 센서 임베딩을 갖춘 그래프 신경망 아키텍처를 사용하여 변수별 특성과 센서 간의 동적 종속성을 포착한다.
• 예측된 가우시안 분포 하에서 관측된 데이터의 음의 로그우도(NLL)를 최적화함으로써 GDN에서 사용하는 표준 MSE 손실을 대체하여 불확실성 캘리브레이션을 향상시킨다.
• 구조 학습은 엔드 투 엔드로 수행되어 사전에 정의된 그래프 구조가 없더라도 의미 있는 센서 관계를 모델이 자율적으로 발견할 수 있도록 한다.
• 지역적 불확실성 추정은 예측 구간(예: 95% 신뢰 구간)을 계산하여 기대 범위에서의 이탈 기반으로 강건한 이상 탐지가 가능하게 한다.
• 프레임워크는 백프로파게이션과 적응형 최적화를 사용하여 훈련되며, 추론 과정에는 점 예측과 이상 탐지 점수를 위한 불확실성 정량화가 포함된다.

실험 결과

연구 질문

• RQ1 동시에 센서 종속성과 불확실성 추정을 학습하는 그래프 신경망 프레임워크가 기존 최첨단 모델보다 다변량 시계열 이상 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ2 학습된 분산을 갖는 확률적 분포(Gaussian)로 예측를 모델링하는 것이 점 추정 대비 이상 탐지 성능 향상과 해석 가능성 향상에 기여하는가?
• RQ3 GLUE는 실세계 다변량 시계열 데이터로부터 의미 있는 해석 가능한 센서 그룹화와 구조적 관계를 발견할 수 있는가?
• RQ4 WADI 및 NASA Turbofan 데이터셋과 같이 정(stationary) 정도와 이상의 명확성에 차이가 있는 데이터셋에서 GLUE의 성능은 어떠한가?

주요 결과

• WADI 데이터셋에서 GLUE는 F1 점수 0.58을 기록하여 GDN(F1 = 0.64)과 동등한 성능를 보이며, PCA(F1 = 0.42)와 오토에코더(F1 = 0.43)를 포함한 모든 베이스라인 모델보다 뚜렷이 뛰어나다.
• NASA Turbofan 데이터셋에서 GLUE는 F1 점수 0.50을 기록하여 VAR 기반 모델과 GDN과 동일한 성능를 보였으며, K-NN는 F1 = 0.55로 약간 뛰어나지만, 이는 데이터셋의 높은 정상성 때문일 가능성이 높다.
• WADI 데이터셋에서 GLUE는 최저 평균 제곱오차(MSE = 2.79)를 기록하여 VAR 기반 모델(MSE = 2497.52)을 압도적으로 뛰어나며, GDN(MSE = 3.00)과 거의 동일한 성능를 보였다.
• 예측 구간의 시각적 분석 결과, 진짜 이상 현상들이 일관되게 95% 신뢰 구간 외부에 위치함을 확인하여, 모델이 불확실성 인식 임계값을 통해 이격을 탐지할 수 있음을 입증했다.
• 센서 임베딩의 t-SNE 시각화 결과, GLUE는 WADI 데이터셋에서 유사한 기능 역할을 하는 센서들을 의미 있는 군집화 방식으로 학습하고 있음을 보여주며, 예를 들어 같은 탱크나 밸브와 관련된 센서들이 함께 그룹화됨을 확인했다.
• 모델의 불확실성 추정은 해석 가능하고 강건하며, Max Robust Error(MRE) 점수는 두 데이터셋 모두에서 이상 데이터 포인트와 정상 데이터 포인트를 효과적으로 구분했다.