[论文解读] Learning Graph Structures with Transformer for Multivariate Time Series Anomaly Detection in IoT

Zekai Chen, Dingshuo Chen+3 more|arXiv (Cornell University)|Apr 8, 2021

Anomaly Detection Techniques and Applications参考文献 47被引用 507

一句话总结

该论文提出GTA，一种基于Transformer的框架，可自动学习物联网传感器之间的动态图结构，以提升多变量时间序列异常检测性能。通过使用基于Gumbel-softmax的可微连接学习策略、一种新型的感染传播图卷积以及多分支注意力机制，GTA在四个基准数据集上实现了最先进性能，相较于现有方法在效率和准确率方面均有提升。

ABSTRACT

Many real-world IoT systems, which include a variety of internet-connected sensory devices, produce substantial amounts of multivariate time series data. Meanwhile, vital IoT infrastructures like smart power grids and water distribution networks are frequently targeted by cyber-attacks, making anomaly detection an important study topic. Modeling such relatedness is, nevertheless, unavoidable for any efficient and effective anomaly detection system, given the intricate topological and nonlinear connections that are originally unknown among sensors. Furthermore, detecting anomalies in multivariate time series is difficult due to their temporal dependency and stochasticity. This paper presented GTA, a new framework for multivariate time series anomaly detection that involves automatically learning a graph structure, graph convolution, and modeling temporal dependency using a Transformer-based architecture. The connection learning policy, which is based on the Gumbel-softmax sampling approach to learn bi-directed links among sensors directly, is at the heart of learning graph structure. To describe the anomaly information flow between network nodes, we introduced a new graph convolution called Influence Propagation convolution. In addition, to tackle the quadratic complexity barrier, we suggested a multi-branch attention mechanism to replace the original multi-head self-attention method. Extensive experiments on four publicly available anomaly detection benchmarks further demonstrate the superiority of our approach over alternative state-of-the-arts. Codes are available at https://github.com/ZEKAICHEN/GTA.

研究动机与目标

• 为解决在传感器依赖关系未知、复杂且非线性的情况下，检测多变量物联网时间序列中异常的挑战。
• 克服传统图学习与注意力机制在高维传感器数据中带来的二次方复杂度问题。
• 同时建模传感器之间的时序依赖关系与拓扑关系，以提升异常检测性能。
• 开发一种端到端可微分框架，自动发现传感器间关系，而无需预先的结构知识。

提出的方法

• 采用基于Gumbel-softmax采样技巧的可微连接学习策略，以学习双向传感器连接，支持端到端训练并降低计算复杂度。
• 提出一种新型的感染传播（IP）图卷积，用于建模异常影响在传感器网络中的传播，捕捉根因引发的级联效应。
• 设计分层上下文编码模块，结合多尺度空洞卷积与图卷积，以建模长程时序依赖。
• 提出多分支注意力机制，以降低标准多头自注意力机制的二次方复杂度，同时保持对长序列的上下文建模能力。
• 将图结构学习、通过空洞卷积实现的时序建模以及基于注意力的预测统一整合于一个基于Transformer的架构中。
• 引入专用损失项，限制每个节点的邻域大小，以提升推理效率并减少学习连接中的噪声。

实验结果

研究问题

• RQ1 一种可微分的端到端方法是否能无需预先拓扑知识，自动学习多变量时间序列中传感器的有意义依赖关系？
• RQ2 与静态或启发式图构建方法相比，学习动态图结构在异常检测性能上有多大提升？
• RQ3 多分支注意力机制是否能有效降低自注意力机制的计算复杂度，同时在长序列上保持性能？
• RQ4 通过图卷积建模异常传播，能在多大程度上提升对级联或间接异常的检测能力？

主要发现

• GTA在四个公开基准数据集（包括SMAP、MSL、SWaT和WADI）上实现了最先进性能，相较于现有方法在F1分数上取得显著提升。
• 消融实验表明，图学习、所提出的连接学习策略以及基于Transformer的架构均为关键组件，任一组件被移除后性能均显著下降。
• 在真实网络攻击场景中，模型成功定位异常，例如在25.16分钟的WADI攻击中，即使被攻击传感器仍处于正常范围，模型仍能通过下游传感器的异常预测实现检测。
• 案例研究显示，学习到的图结构准确反映了真实拓扑关系，例如LEAK DIFF PRESSURE因级联效应与多个下游传感器相连。
• 多分支注意力机制在保持高性能的同时降低了计算复杂度，使模型能够高效部署于移动设备与物联网环境。
• 在具有强拓扑依赖关系的数据集（如SWaT、WADI）上，图结构学习显著提升性能；而在传感器间关系较弱的数据集（如SMAP、MSL）上，其增益相对较小。