[论文解读] Learning Graph Neural Networks for Multivariate Time Series Anomaly Detection

Saswati Ray, Sana Lakdawala+2 more|arXiv (Cornell University)|Nov 15, 2021

Anomaly Detection Techniques and Applications参考文献 14被引用 5

一句话总结

该论文提出GLUE，一种图神经网络框架，通过将预测建模为异方差高斯分布，学习多变量时间序列中的动态传感器依赖关系并提供校准的不确定性估计。GLUE在真实世界WADI和NASA Turbofan数据集上实现了与GDN相当的异常检测性能，同时支持可解释的不确定性感知阈值，且已开源代码。

ABSTRACT

In this work, we propose GLUE (Graph Deviation Network with Local Uncertainty Estimation), building on the recently proposed Graph Deviation Network (GDN). GLUE not only automatically learns complex dependencies between variables and uses them to better identify anomalous behavior, but also quantifies its predictive uncertainty, allowing us to account for the variation in the data as well to have more interpretable anomaly detection thresholds. Results on two real world datasets tell us that optimizing the negative Gaussian log likelihood is reasonable because GLUE's forecasting results are at par with GDN and in fact better than the vector autoregressor baseline, which is significant given that GDN directly optimizes the MSE loss. In summary, our experiments demonstrate that GLUE is competitive with GDN at anomaly detection, with the added benefit of uncertainty estimations. We also show that GLUE learns meaningful sensor embeddings which clusters similar sensors together.

研究动机与目标

• 解决现有深度学习模型在多变量时间序列异常检测中的局限性，即无法建模复杂的变量依赖关系且不确定性估计不可靠。
• 开发一种方法，既能学习传感器之间的结构依赖关系，又能以系统化、可解释的方式量化预测不确定性。
• 在真实世界数据集（包括新引入的NASA Turbofan数据集）上验证所提方法，以展示其鲁棒性和泛化能力。
• 开源代码以确保可复现性，并促进未来在不确定性感知异常检测领域的研究。

提出的方法

• GLUE将传感器读数建模为来自异方差多变量高斯分布的样本，为每个时间步预测均值μ(x)和方差σ²(x)。
• 采用具有可学习传感器嵌入的图神经网络架构，以捕捉变量特定特征并推断传感器之间的动态依赖关系。
• 通过优化观测数据在预测高斯分布下的负对数似然（NLL）进行训练，替代GDN中使用的标准MSE损失，以提升不确定性校准效果。
• 结构学习以端到端方式完成，使模型无需预定义图结构即可发现有意义的传感器关系。
• 通过计算预测区间（如95%置信带）实现局部不确定性估计，从而基于对预期范围的偏离实现鲁棒的异常检测。
• 该框架采用反向传播与自适应优化进行训练，推理过程同时包含点预测和不确定性量化，用于异常评分。

实验结果

研究问题

• RQ1 能否设计一种图神经网络框架，联合学习传感器依赖关系与不确定性估计，从而在多变量时间序列异常检测中超越现有最先进模型？
• RQ2 与点估计相比，将预测建模为具有学习方差的概率分布（高斯分布）是否能提升异常检测性能与可解释性？
• RQ3 GLUE能否从真实世界的多变量时间序列数据中发现有意义且可解释的传感器分组与结构关系？
• RQ4 在具有不同平稳性程度和异常显著性特征的数据集（如WADI和NASA Turbofan数据集）上，GLUE的性能如何？

主要发现

• 在WADI数据集上，GLUE的F1得分为0.58，与GDN（F1 = 0.64）性能相当，显著优于所有基线模型，包括PCA（F1 = 0.42）和自编码器（F1 = 0.43）。
• 在NASA Turbofan数据集上，GLUE的F1得分为0.50，与VAR基线和GDN持平，尽管K-NN略胜一筹（F1 = 0.55），可能由于该数据集具有高度平稳性。
• 在WADI数据集上，GLUE的均方误差最低（MSE = 2.79），显著优于VAR基线（MSE = 2497.52），且几乎与GDN（MSE = 3.00）相当。
• 对预测区间的可视化分析表明，真实异常值始终落在95%置信带之外，证实了模型通过不确定性感知阈值检测偏离的能力。
• 传感器嵌入的t-SNE可视化显示，GLUE能学习到有意义的传感器聚类——例如在WADI数据集中，将具有相似功能角色的传感器（如同一油箱或阀门相关的传感器）分组。
• 模型的不确定性估计具有可解释性且稳健，最大鲁棒误差（MRE）得分能有效区分两种数据集中的异常点与正常点。