[论文解读] An empirical evaluation of attention-based multi-head models for improved turbofan engine remaining useful life prediction

Abiodun Ayodeji, Wenhai Wang+3 more|arXiv (Cornell University)|Sep 4, 2021

Fault Detection and Control Systems参考文献 26被引用 6

一句话总结

该论文提出了一种基于多头注意力机制的深度学习框架，通过独立建模异构传感器信号，以提升涡轮风扇发动机剩余使用寿命（RUL）预测的性能。基于CMAPSS基准数据集，实验表明多头架构——尤其是简单的多头MLP——优于当前最先进的模型，而注意力机制带来的性能提升则因模型架构不同而表现不一致。

ABSTRACT

A single unit (head) is the conventional input feature extractor in deep learning architectures trained on multivariate time series signals. The importance of the fixed-dimensional vector representation generated by the single-head network has been demonstrated for industrial machinery condition monitoring and predictive maintenance. However, processing heterogeneous sensor signals with a single-head may result in a model that cannot explicitly account for the diversity in time-varying multivariate inputs. This work extends the conventional single-head deep learning models to a more robust form by developing context-specific heads to independently capture the inherent pattern in each sensor reading. Using the turbofan aircraft engine benchmark dataset (CMAPSS), an extensive experiment is performed to verify the effectiveness and benefits of multi-head multilayer perceptron, recurrent networks, convolution network, the transformer-style stand-alone attention network, and their variants for remaining useful life estimation. Moreover, the effect of different attention mechanisms on the multi-head models is also evaluated. In addition, each architecture's relative advantage and computational overhead are analyzed. Results show that utilizing the attention layer is task-sensitive and model dependent, as it does not provide consistent improvement across the models investigated. The best model is further compared with five state-of-the-art models, and the comparison shows that a relatively simple multi-head architecture performs better than the state-of-the-art models. The results presented in this study demonstrate the importance of multi-head models and attention mechanisms to an improved understanding of the remaining useful life of industrial assets.

研究动机与目标

• 解决单头模型在捕捉工业机械中异构多变量传感器信号多样化时间模式方面的局限性。
• 评估多头架构在提升涡轮风扇发动机RUL预测精度方面的有效性。
• 研究不同注意力机制在各种深度学习架构（MLP、RNN、CNN、Transformer）中对性能的影响。
• 比较多头模型与传统单头模型在计算效率和相对优势方面的差异。
• 将表现最佳的模型与五种当前最先进的RUL预测模型进行基准对比。

提出的方法

• 设计并实现多头神经网络架构，其中每个头独立处理单一传感器信号，以捕捉与传感器相关的特定时间模式。
• 将自注意力机制集成到MLP、RNN、CNN和Transformer架构的多头变体中，以动态加权时间步长上的特征重要性。
• 在CMAPSS涡轮风扇发动机数据集上训练并评估模型，采用标准的RUL预测指标（如RMSE、MAE）。
• 通过消融研究隔离注意力机制对不同基础架构的影响。
• 从预测精度和计算成本（FLOPs、推理时间）两个方面比较模型性能。
• 采用晚期融合策略，在最终RUL估计前聚合各头的预测结果。

实验结果

研究问题

• RQ1 与单头模型相比，每个传感器信号使用多个基于注意力的头是否能提升RUL预测性能？
• RQ2 不同注意力机制（如缩放点积、加性注意力）如何影响多种主干架构中多头模型的性能？
• RQ3 注意力机制带来的性能提升是否在不同模型类型（如MLP与RNN与Transformer）中保持一致？
• RQ4 多头注意力模型在预测精度与计算开销之间存在怎样的权衡？
• RQ5 相对简单的多头架构是否能在RUL预测中超越更复杂的当前最先进模型？

主要发现

• 带有注意力机制的多头多层感知机（MLP）在CMAPSS数据集上表现最优，RMSE最低。
• 注意力机制并未在所有模型中带来一致的性能提升，表明其优势具有模型依赖性和任务敏感性。
• 表现最佳的模型——带有注意力机制的多头MLP——在CMAPSS基准上优于五种当前最先进的RUL预测模型。
• 与单头模型相比，多头模型在捕捉多变量传感器数据中异构时间模式方面表现出更强的能力。
• 计算开销因架构而异，基于Transformer的模型最为昂贵，而多头MLP在精度与效率之间实现了良好的权衡。
• 结果验证了通过多头设计实现的上下文特定特征提取，可提升工业RUL估计中模型的可解释性与预测性能。