[论文解读] Graph Neural Networks with Trainable Adjacency Matrices for Fault Diagnosis on Multivariate Sensor Data

Alexander Kovalenko, Vitaliy Pozdnyakov+1 more|arXiv (Cornell University)|Oct 20, 2022

Advanced Data Processing Techniques被引用 5

一句话总结

本文提出一种具有可训练邻接矩阵的图神经网络（GNN），用于工业过程中多变量传感器数据的故障诊断。通过在训练过程中学习图结构——包括多个邻接矩阵——该模型捕捉了传感器之间的动态隐藏依赖关系，在Tennessee Eastman Process基准测试中实现了最先进性能，即使在训练数据减少的情况下，也优于RNN和传统GNN。

ABSTRACT

Timely detected anomalies in the chemical technological processes, as well as the earliest detection of the cause of the fault, significantly reduce the production cost in the industrial factories. Data on the state of the technological process and the operation of production equipment are received by a large number of different sensors. To better predict the behavior of the process and equipment, it is necessary not only to consider the behavior of the signals in each sensor separately, but also to take into account their correlation and hidden relationships with each other. Graph-based data representation helps with this. The graph nodes can be represented as data from the different sensors, and the edges can display the influence of these data on each other. In this work, the possibility of applying graph neural networks to the problem of fault diagnosis in a chemical process is studied. It was proposed to construct a graph during the training of graph neural network. This allows to train models on data where the dependencies between the sensors are not known in advance. In this work, several methods for obtaining adjacency matrices were considered, as well as their quality was studied. It has also been proposed to use multiple adjacency matrices in one model. We showed state-of-the-art performance on the fault diagnosis task with the Tennessee Eastman Process dataset. The proposed graph neural networks outperformed the results of recurrent neural networks.

研究动机与目标

• 解决工业故障诊断中传感器间未知或复杂依赖关系的挑战。
• 开发一种在训练过程中学习图结构（邻接矩阵）的GNN架构，而非依赖预定义或静态关系。
• 提升工业过程中多变量时间序列数据的故障检测与诊断准确率。
• 研究多个可训练邻接矩阵在捕捉不同运行模式和动态依赖关系方面的有效性。
• 在Tennessee Eastman Process数据集上，与MLP、1DCNN和GRU等基线模型相比，展示优越性能。

提出的方法

• 引入图结构学习层，通过可训练权重矩阵W将邻接矩阵作为可微分参数进行训练。
• 采用具有可学习邻接矩阵W的GNN，其中边权重通过应用于W的可微分激活函数（如tanh）计算。
• 提出一种多GNN架构，包含多个并行的GNN模块，每个模块使用其自身的可训练邻接矩阵，以建模不同的运行模式或依赖模式。
• 使用Tennessee Eastman Process数据集作为故障诊断的基准，包含28种故障类型及来自52个传感器的多变量时间序列。
• 使用反向传播端到端训练模型，优化故障检测（TPR/FPR）和到达时间延迟（ADD）。
• 通过与基于相关性的矩阵比较以及分析节点影响模式，评估所学邻接矩阵的质量。

实验结果

研究问题

• RQ1 具有可训练邻接矩阵的GNN是否能在多变量传感器数据的故障诊断中优于使用固定或预计算邻接矩阵的模型？
• RQ2 在训练过程中学习图结构如何影响故障检测性能，特别是在真实依赖关系未知的情况下？
• RQ3 多个可训练邻接矩阵是否能通过捕捉不同的运行模式或动态依赖关系来提升模型性能？
• RQ4 在结构质量与诊断相关性方面，所学邻接矩阵与基于相关性的矩阵相比如何？
• RQ5 具有共享参数和多个邻接矩阵的所提多GNN架构是否在小样本数据集上具有更好的泛化能力？

主要发现

• 所提出的具有可训练邻接矩阵的GNN在Tennessee Eastman Process基准测试中实现了最先进性能，优于MLP、1DCNN和GRU基线模型。
• 在完整数据集上，单个GNN模块使用可训练邻接矩阵实现了0.8666的检测真正率（TPR）和0.0459的假正率（FPR），到达时间延迟（ADD）为29.93。
• 具有10个并行模块的多GNN架构实现了更高的TPR（0.8732）和更好的泛化能力，尤其在仅使用10%训练数据的缩减数据集上表现更优。
• 在缩减数据集上，多GNN模型实现了0.8732的检测TPR和0.0547的FPR，且仅包含153,949个可训练参数——远少于单个GNN模型。
• 所学邻接矩阵捕捉到了有意义的、非静态的传感器间关系，节点间的影响模式各异，表明其能够建模不同运行模式下的动态依赖关系。
• 该模型在小样本数据集上表现出鲁棒性，多GNN架构在28种故障类型中的15种上优于单个GNN模型。