[论文解读] Multi-Dimensional Self Attention based Approach for Remaining Useful Life Estimation

Zhi Lai, Mengjuan Liu+2 more|arXiv (Cornell University)|Dec 12, 2022

Machine Fault Diagnosis Techniques被引用 5

一句话总结

本文提出了一种结合多维自注意力机制与LSTM的模型，用于工业互联网（IIoT）场景下的多传感器剩余使用寿命（RUL）估计。通过学习时间序列数据中的特征交互与时间依赖性，该模型在C-MAPSS和PHM08数据集上实现了最先进性能，RMSE分别在FD004上提升14.38，在PHM08上提升1060。

ABSTRACT

Remaining Useful Life (RUL) estimation plays a critical role in Prognostics and Health Management (PHM). Traditional machine health maintenance systems are often costly, requiring sufficient prior expertise, and are difficult to fit into highly complex and changing industrial scenarios. With the widespread deployment of sensors on industrial equipment, building the Industrial Internet of Things (IIoT) to interconnect these devices has become an inexorable trend in the development of the digital factory. Using the device's real-time operational data collected by IIoT to get the estimated RUL through the RUL prediction algorithm, the PHM system can develop proactive maintenance measures for the device, thus, reducing maintenance costs and decreasing failure times during operation. This paper carries out research into the remaining useful life prediction model for multi-sensor devices in the IIoT scenario. We investigated the mainstream RUL prediction models and summarized the basic steps of RUL prediction modeling in this scenario. On this basis, a data-driven approach for RUL estimation is proposed in this paper. It employs a Multi-Head Attention Mechanism to fuse the multi-dimensional time-series data output from multiple sensors, in which the attention on features is used to capture the interactions between features and attention on sequences is used to learn the weights of time steps. Then, the Long Short-Term Memory Network is applied to learn the features of time series. We evaluate the proposed model on two benchmark datasets (C-MAPSS and PHM08), and the results demonstrate that it outperforms the state-of-art models. Moreover, through the interpretability of the multi-head attention mechanism, the proposed model can provide a preliminary explanation of engine degradation. Therefore, this approach is promising for predictive maintenance in IIoT scenarios.

研究动机与目标

• 解决在动态运行条件下，复杂多传感器工业系统中准确进行RUL估计的挑战。
• 克服传统模型对所有传感器和时间步一视同仁的局限，未能捕捉特征交互或时间重要性。
• 开发一种数据驱动、端到端的深度学习模型，可在多种故障模式和运行条件下良好泛化。
• 通过注意力权重提升模型可解释性，识别发动机传感器中的退化趋势。
• 通过基于运行条件的特定数据归一化与基于注意力的特征学习，提升RUL预测性能。

提出的方法

• 采用多头自注意力机制，对多维时间序列数据中的多个传感器特征及时间步之间的交互进行建模。
• 使用缩放点积注意力计算特征与时间步的动态权重，使模型能够聚焦于相关的退化模式。
• 集成长短期记忆（LSTM）网络，以捕捉传感器序列中的长期时间依赖性。
• 针对每种运行条件进行z分数归一化，以减少运行条件差异带来的噪声，尤其显著提升了FD002和FD004上的性能。
• 使用多层感知机（MLP）头，从融合的特征表示中回归预测最终的RUL。
• 采用时间窗口化、分段RUL标签化与K均值聚类进行数据预处理，以增强模型泛化能力与训练稳定性。

实验结果

研究问题

• RQ1 多维自注意力机制能否有效建模多传感器RUL估计中传感器间的特征交互与序列内的时间依赖性？
• RQ2 基于运行条件的特定数据归一化在具有可变运行条件的数据集上对RUL预测性能有何影响？
• RQ3 所提模型在C-MAPSS和PHM08等基准数据集上相较于现有最先进方法的性能提升程度如何？
• RQ4 所提模型中的注意力机制能否提供关于发动机退化趋势的可解释性洞察？
• RQ5 哪些超参数（如窗口大小、注意力头数量、R_max）对模型性能影响最大，以及如何优化？

主要发现

• 所提模型在FD001上取得11.43的最低RMSE，在FD003上为11.47，在FD004上为14.38，在PHM08上为1060，优于所有对比的SOTA方法。
• 在FD002和FD004上，基于运行条件的归一化显著提升性能，恢复了原本被运行条件变化掩盖的退化趋势。
• 该模型在C-MAPSS的全部四个数据集上均达到最先进水平，多数情况下RMSE最低，表明其在不同故障模式下具有强大泛化能力。
• 消融实验表明，多头注意力与LSTM组件均对最优性能至关重要，两者均对最终预测精度有显著贡献。
• 注意力可视化显示，模型能够学习聚焦于与发动机退化相关的关键传感器特征与时间步，展现出良好的可解释性。
• 该模型无需人工特征选择，提升了其在真实工业IIoT环境中的泛化能力与部署便捷性。