[论文解读] Graph Neural Networks for Leveraging Industrial Equipment Structure: An application to Remaining Useful Life Estimation

Jyoti Narwariya, Pankaj Malhotra+3 more|arXiv (Cornell University)|Jun 30, 2020

Machine Learning in Materials Science参考文献 20被引用 24

一句话总结

本文提出一种图神经网络（GNN）方法，通过将工业设备（如涡轮风扇发动机）的模块化结构建模为图结构，其中传感器作为节点，模块间依赖关系作为边。通过使用门控图神经网络（GGNN）以结构感知方式处理时间序列数据，该方法在剩余使用寿命（RUL）估计方面优于平坦拼接基线模型，注意力机制能够突出显示如高压压气机等故障部件。

ABSTRACT

Automated equipment health monitoring from streaming multisensor time-series data can be used to enable condition-based maintenance, avoid sudden catastrophic failures, and ensure high operational availability. We note that most complex machinery has a well-documented and readily accessible underlying structure capturing the inter-dependencies between sub-systems or modules. Deep learning models such as those based on recurrent neural networks (RNNs) or convolutional neural networks (CNNs) fail to explicitly leverage this potentially rich source of domain-knowledge into the learning procedure. In this work, we propose to capture the structure of a complex equipment in the form of a graph, and use graph neural networks (GNNs) to model multi-sensor time-series data. Using remaining useful life estimation as an application task, we evaluate the advantage of incorporating the graph structure via GNNs on the publicly available turbofan engine benchmark dataset. We observe that the proposed GNN-based RUL estimation model compares favorably to several strong baselines from literature such as those based on RNNs and CNNs. Additionally, we observe that the learned network is able to focus on the module (node) with impending failure through a simple attention mechanism, potentially paving the way for actionable diagnosis.

研究动机与目标

• 解决现有深度学习模型在工业设备健康监测中的局限性，这些模型通常忽略子系统之间的显式结构关系。
• 探究将复杂机械的已知模块化架构融入深度学习模型是否能提升RUL估计性能。
• 评估GNN是否能通过注意力机制隐式学习聚焦于故障部件，从而实现可操作的诊断。
• 评估GNN模型对图结构变化（如节点拆分与合并）的鲁棒性。
• 证明基于设备结构的多传感器数据结构化处理优于标准端到端方法（即所有传感器输入直接拼接）。

提出的方法

• 将设备表示为有向图，其中每个节点对应一个模块或传感器组，边表示模块间的依赖关系。
• 使用GGNN处理多变量时间序列数据，通过图结构进行消息传递以更新节点表示。
• 应用可学习的注意力机制聚合节点级表示以进行最终的RUL预测，实现对各模块的动态加权。
• 使用FD001–FD004涡轮风扇发动机基准数据集，在多种图配置下训练和评估模型。
• 与强基线RNN和CNN模型进行比较，同时评估图结构修改后的消融变体（如增加或减少节点）。
• 采用均方误差（MAE）损失函数进行端到端训练，以最小化RUL预测误差。

实验结果

研究问题

• RQ1 将工业设备已知的模块化结构融入深度学习模型是否能提升RUL估计性能？
• RQ2 基于GNN的方法是否优于将所有传感器数据视为平坦多变量序列的标准RNN和CNN模型？
• RQ3 GNN模型中的注意力机制是否能识别并聚焦于即将发生故障的模块，如在已知故障场景中所示？
• RQ4 模型性能对底层图结构变化（如节点拆分或合并）的敏感性如何？
• RQ5 与原始传感器信号的直接拼接相比，基于设备结构的模块化传感器处理是否具有优势？

主要发现

• 所提出的基于GNN的RUL估计模型在FD001–FD004涡轮风扇发动机基准测试中优于强基线RNN和CNN模型，证明了结构归纳偏差的优势。
• 在FD001上，增加节点数（拆分原始节点）的模型性能与原始图相当；在FD004上表现更优，尽管计算成本更高。
• 当节点被合并时性能下降，特别是将所有传感器合并为一个节点的配置结果最差，表明细粒度结构具有优势。
• 在FD002上，随着RUL减少，注意力机制逐渐增加对HPC模块（已知最先故障）的关注，表明具备隐式诊断能力。
• 在FD001上，注意力机制并未一致地突出故障模块，表明其行为具有上下文依赖性，仍有改进空间。
• 节点间的消息传递提升了性能，证实建模模块间依赖关系可提高预测准确性。