[論文レビュー] A Transformer-based Framework For Multi-variate Time Series: A Remaining Useful Life Prediction Use Case

Oluwaseyi Ogunfowora, Homayoun Najjaran|arXiv (Cornell University)|Aug 19, 2023

Currency Recognition and Detection被引用数 4

ひとこと要約

本論文は、残存耐用年数（RUL）予測に注力した、マルチバリアテ時間系列予測のためのネイティブエンコーダー・トランスフォーマーフレームワークを提案する。拡張ウィンドウデータ準備法を導入し、正規化および位置エンコーディングを最適化することで、C-MAPSSベンチマークデータセットにおいて、次善のSOTAモデル比で平均137.65%の性能向上を達成した。

ABSTRACT

In recent times, Large Language Models (LLMs) have captured a global spotlight and revolutionized the field of Natural Language Processing. One of the factors attributed to the effectiveness of LLMs is the model architecture used for training, transformers. Transformer models excel at capturing contextual features in sequential data since time series data are sequential, transformer models can be leveraged for more efficient time series data prediction. The field of prognostics is vital to system health management and proper maintenance planning. A reliable estimation of the remaining useful life (RUL) of machines holds the potential for substantial cost savings. This includes avoiding abrupt machine failures, maximizing equipment usage, and serving as a decision support system (DSS). This work proposed an encoder-transformer architecture-based framework for multivariate time series prediction for a prognostics use case. We validated the effectiveness of the proposed framework on all four sets of the C-MAPPS benchmark dataset for the remaining useful life prediction task. To effectively transfer the knowledge and application of transformers from the natural language domain to time series, three model-specific experiments were conducted. Also, to enable the model awareness of the initial stages of the machine life and its degradation path, a novel expanding window method was proposed for the first time in this work, it was compared with the sliding window method, and it led to a large improvement in the performance of the encoder transformer model. Finally, the performance of the proposed encoder-transformer model was evaluated on the test dataset and compared with the results from 13 other state-of-the-art (SOTA) models in the literature and it outperformed them all with an average performance increase of 137.65% over the next best model across all the datasets.

研究の動機と目的

• 予後予測におけるマルチバリアテ時間系列予測のための、強固でエンド・ツー・エンドのトランスフォーマーベースフレームワークの開発。
• もともと自然言語処理（NLP）向けに設計されたネイティブトランスフォーマーアーキテクチャを、i.i.d.でなく非定常な特性を示す時間系列データに効果的に適応すること。
• 自己相関、非定常性、およびマルチバリアテセンサー・データ内の複雑な劣化パターンといった課題に対処することで、RUL予測の精度を向上させること。
• ターボファンエンジンの劣化を想定した、標準的なC-MAPSSベンチマークデータセットを用いたモデル性能の評価。
• トランスフォーマーベース時間系列モデリングにおける最適なハイパーパramータおよびデータ前処理戦略（例：正規化、位置エンコーディング）の同定。

提案手法

• 追加のアテンションヘッドや残差接続を含まない純粋なエンコーダー・トランスフォーマーアーキテクチャを提案し、自己注意機構を活用してマルチバリアテ時間系列内の長距離依存関係をモデル化する。
• 初期劣化段階へのモデルの認識を高め、従来のスライディングウィンドウ手法よりも性能を向上させる、新規の拡張ウィンドウデータ準備法を導入する。
• クラスタリングに基づく正規化技術を採用し、関連する特徴を抽出し、マルチバリアテセンサー・チャンネル全体におけるデータの定常性を向上させる。
• 層正規化とバッチ正規化、固定位置エンコーディングと学習可能な位置エンコーディングの比較を通じて、時間系列データに対するトランスフォーマーパフォーマンスの最適化を図る。
• 最小-最大スケーリング、zスコア、およびクラスタリングベースの3種類のデータ変換手法を適用し、モデルの汎化性能および予測精度に与える影響を評価する。
• C-MAPSSデータセット（4つの異なるエンジン劣化シナリオ：FD001–FD004）を用い、標準化された条件下で包括的な評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの拡張なしに、ネイティブエンコーダー・トランスフォーマーアーキテクチャがマルチバリアテ時間系列RUL予測で最先端の性能を達成できるか？
• RQ2 スライディングウィンドウ手法と比較して、拡張ウィンドウデータ準備法は、RUL予測タスクにおけるトランスフォーマーモデル性能をどのように向上させるか？
• RQ3 時間系列予測におけるトランスフォーマーモデルの最適な正規化、位置エンコーディング、入力変換の組み合わせは何か？
• RQ4 提案フレームワークは、C-MAPSSベンチマークにおける多様な劣化パターンの下で、既存のSOTAモデルを上回る性能を示すか？
• RQ5 FD001およびFD003データセットでは、他のデータセットと比較して拡張ウィンドウ法の改善効果が限定的であるが、その理由は何か？

主な発見

• 提案されたエンコーダー・トランスフォーマーモデルは、C-MAPSS全データセットで平均444.14のRUL予測スコアを達成し、次善のモデル比で平均137.65%の性能向上を達成した。
• 平均RMSEは13.66にまで低下し、次善のモデル（MSTformer）の14.755RMSEを顕著に下回った。
• 拡張ウィンドウ法はスライディングウィンドウ法よりも顕著な性能向上をもたらし、特にFD002およびFD004ではRMSEが10%以上低減された。
• この時間系列タスクにおいて、学習可能な位置エンコーディングと層正規化が、固定位置エンコーディングとバッチ正規化を上回った。
• クラスタリングベースの正規化技術は特徴表現を強化し、異なるエンジン劣化シナリオにおけるモデルの汎化性能の向上に寄与した。
• モデルは全4つのC-MAPSSデータセットで強固な性能を示し、特にFD002およびFD004では予測がより一貫しており、初期段階での予測が正確で、ペナルティが低減された。