[论文解读] A Transformer-based Framework For Multi-variate Time Series: A Remaining Useful Life Prediction Use Case

Oluwaseyi Ogunfowora, Homayoun Najjaran|arXiv (Cornell University)|Aug 19, 2023

Currency Recognition and Detection被引用 4

一句话总结

本文提出了一种原生编码器-transformer 框架，用于多变量时间序列预测，重点关注剩余使用寿命（RUL）预测。该方法引入了一种扩展窗口数据准备方法，并优化了归一化和位置编码，相较于 C-MAPSS 基准数据集上表现最佳的 SOTA 模型，平均性能提升了 137.65%。

ABSTRACT

In recent times, Large Language Models (LLMs) have captured a global spotlight and revolutionized the field of Natural Language Processing. One of the factors attributed to the effectiveness of LLMs is the model architecture used for training, transformers. Transformer models excel at capturing contextual features in sequential data since time series data are sequential, transformer models can be leveraged for more efficient time series data prediction. The field of prognostics is vital to system health management and proper maintenance planning. A reliable estimation of the remaining useful life (RUL) of machines holds the potential for substantial cost savings. This includes avoiding abrupt machine failures, maximizing equipment usage, and serving as a decision support system (DSS). This work proposed an encoder-transformer architecture-based framework for multivariate time series prediction for a prognostics use case. We validated the effectiveness of the proposed framework on all four sets of the C-MAPPS benchmark dataset for the remaining useful life prediction task. To effectively transfer the knowledge and application of transformers from the natural language domain to time series, three model-specific experiments were conducted. Also, to enable the model awareness of the initial stages of the machine life and its degradation path, a novel expanding window method was proposed for the first time in this work, it was compared with the sliding window method, and it led to a large improvement in the performance of the encoder transformer model. Finally, the performance of the proposed encoder-transformer model was evaluated on the test dataset and compared with the results from 13 other state-of-the-art (SOTA) models in the literature and it outperformed them all with an average performance increase of 137.65% over the next best model across all the datasets.

研究动机与目标

• 开发一种稳健的、端到端的基于 transformer 的多变量时间序列预测框架，用于状态预测。
• 有效适配原始为自然语言处理设计的原生 transformer 架构，以处理具有非独立同分布（non-i.i.d.）和非平稳（non-stationary）特性的时间序列数据。
• 通过解决多变量传感器数据中自相关性、非平稳性和复杂退化模式等挑战，提升 RUL 预测的准确性。
• 在涡轮风扇发动机退化标准 C-MAPSS 基准数据集上评估模型性能。
• 识别 transformer 基于时间序列建模的最优超参数及数据预处理策略（如归一化、位置编码）。

提出的方法

• 提出一种纯编码器-transformer 架构，不依赖额外注意力头或残差连接，利用自注意力机制建模多变量时间序列中的长程依赖关系。
• 提出一种新颖的扩展窗口数据准备方法，增强模型对早期退化阶段的感知能力，并在性能上优于传统的滑动窗口方法。
• 采用基于聚类的归一化技术，提取相关特征并提升多变量传感器通道间的数据平稳性。
• 对比层归一化与批量归一化，以及固定与可学习的位置编码，以优化 transformer 在时间序列任务中的性能。
• 应用三种数据变换方法（最小-最大缩放、z-得分标准化、基于聚类的变换）以评估其对模型泛化能力和预测精度的影响。
• 使用 C-MAPSS 数据集，包含四个不同的发动机退化场景（FD001–FD004），在标准条件下进行全面评估。

实验结果

研究问题

• RQ1 原生编码器-transformer 架构是否能在不进行架构增强的情况下，实现在多变量时间序列 RUL 预测中的最先进性能？
• RQ2 与滑动窗口方法相比，扩展窗口数据准备方法在提升 transformer 模型 RUL 预测性能方面表现如何？
• RQ3 在时间序列预测中，归一化、位置编码和输入变换的最优组合是什么？
• RQ4 所提出的框架是否在 C-MAPSS 基准数据集中不同退化模式下均优于现有 SOTA 模型？
• RQ5 为何扩展窗口方法在 FD001 和 FD003 数据集上改进有限，尽管在其他数据集上表现显著？

主要发现

• 所提出的编码器-transformer 模型在所有 C-MAPSS 数据集上的平均 RUL 预测得分达到 444.14，相较于次优模型平均提升 137.65%。
• 模型平均 RMSE 为 13.66，显著低于次优模型 MSTformer 的 14.755 RMSE。
• 扩展窗口方法相较于滑动窗口方法带来显著性能提升，尤其在 FD002 和 FD004 上，RMSE 降低超过 10%。
• 可学习的位置编码与层归一化在该时间序列任务中优于固定位置编码与批量归一化。
• 基于聚类的归一化技术增强了特征表示，并提升了模型在不同发动机退化场景下的泛化能力。
• 模型在所有四个 C-MAPSS 数据集上均表现出稳健性能，尤其在 FD002 和 FD004 上预测最一致，早期预测更准确且惩罚更小。