[論文レビュー] Multi-Dimensional Self Attention based Approach for Remaining Useful Life Estimation

Zhi Lai, Mengjuan Liu+2 more|arXiv (Cornell University)|Dec 12, 2022

Machine Fault Diagnosis Techniques被引用数 5

ひとこと要約

本稿では、IIoT環境におけるマルチセンサーRUL推定のため、LSTMと組み合わせた多次元自己注意メカニズムを提案する。時系列データ内の特徴相互作用および時間的依存関係を学習することで、C-MAPSSおよびPHM08データセットで最先端の性能を達成し、FD004では最大14.38、PHM08では1060のRMSE改善を達成した。

ABSTRACT

Remaining Useful Life (RUL) estimation plays a critical role in Prognostics and Health Management (PHM). Traditional machine health maintenance systems are often costly, requiring sufficient prior expertise, and are difficult to fit into highly complex and changing industrial scenarios. With the widespread deployment of sensors on industrial equipment, building the Industrial Internet of Things (IIoT) to interconnect these devices has become an inexorable trend in the development of the digital factory. Using the device's real-time operational data collected by IIoT to get the estimated RUL through the RUL prediction algorithm, the PHM system can develop proactive maintenance measures for the device, thus, reducing maintenance costs and decreasing failure times during operation. This paper carries out research into the remaining useful life prediction model for multi-sensor devices in the IIoT scenario. We investigated the mainstream RUL prediction models and summarized the basic steps of RUL prediction modeling in this scenario. On this basis, a data-driven approach for RUL estimation is proposed in this paper. It employs a Multi-Head Attention Mechanism to fuse the multi-dimensional time-series data output from multiple sensors, in which the attention on features is used to capture the interactions between features and attention on sequences is used to learn the weights of time steps. Then, the Long Short-Term Memory Network is applied to learn the features of time series. We evaluate the proposed model on two benchmark datasets (C-MAPSS and PHM08), and the results demonstrate that it outperforms the state-of-art models. Moreover, through the interpretability of the multi-head attention mechanism, the proposed model can provide a preliminary explanation of engine degradation. Therefore, this approach is promising for predictive maintenance in IIoT scenarios.

研究の動機と目的

• 動的運転条件下における複雑なマルチセンサー産業システムにおける正確なRUL推定の課題に対処すること。
• すべてのセンサーと時間ステップを同等に扱う従来のモデルの限界を克服し、特徴相互作用や時間的重要度を捉えないこと。
• 多様な故障モードおよび運転条件にわたって良好に一般化するデータ駆動型でエンドツーエンドのディープラーニングモデルを開発すること。
• エンジンセンサーの劣化傾向を特定するために注意重みを活用することで、モデルの解釈性を向上させること。
• 条件別データ正規化と注意ベースの特徴学習により、RUL予測性能を向上させること。

提案手法

• 多次元時系列データにおける複数のセンサー特徴および時間ステップ間の相互作用をモデル化するため、マルチヘッド自己注意メカニズムを採用する。
• スケーリングドット積分注意を用いて、特徴および時間ステップごとに動的重みを計算し、関連する劣化パターンに注目できるようにする。
• センサー時系列における長期的時間的依存関係を捉えるために、長短期記憶（LSTM）ネットワークを統合する。
• 運転条件ごとにzスコア正規化を適用し、特にFD002およびFD004での性能向上に寄与するように、運転条件のばらつきに起因するノイズを低減する。
• 融合された特徴表現から最終的なRUL予測を回帰するため、マルチレイヤーパーセプトロン（MLP）ヘッドを用いる。
• モデルの一般化および学習安定性を向上させるために、時間ウィンドウ処理、部分的RULラベル付け、K-meansクラスタリングをデータ前処理に適用する。

実験結果

リサーチクエスチョン

• RQ1 多次元自己注意メカニズムは、マルチセンサーRUL推定において、センサー間特徴相互作用および時系列内時間的依存関係を効果的にモデル化できるか？
• RQ2 条件別データ正規化は、運転条件が変動するデータセットにおけるRUL予測性能にどのように影響するか？
• RQ3 提案手法は、C-MAPSSおよびPHM08といったベンチマークデータセットで、既存の最先端手法をどの程度上回るか？
• RQ4 提案手法の注意メカニズムは、エンジン劣化傾向に関する解釈可能なインサイトを提供できるか？
• RQ5 ウィンドウサイズ、注意ヘッド数、R_max などのハイパーパrameterがモデル性能に最も顕著に影響を与えるか、そして最適化するにはどうすればよいか？

主な発見

• 提案手法は、FD001でRMSE 11.43、FD003で11.47、FD004で14.38、PHM08で1060を達成し、比較されたすべての最先端手法を上回った。
• FD002およびFD004では、条件別正規化が、運転条件の変動によって覆い隠される傾向の劣化パターンを回復させることで、性能向上に顕著に寄与した。
• 4つのC-MAPSSデータセットすべてで最先端の結果を達成し、大多数のケースで最小のRMSEを記録した。これは、故障モードにわたる優れた一般化性能を示している。
• アブレーションスタディにより、マルチヘッド注意とLSTMの両コンponentが最適性能を達成するために不可欠であることが確認され、それぞれが最終予測精度に有意義に寄与した。
• 注意可視化の結果、モデルがエンジン劣化と相関する関連のあるセンサー特徴および時間ステップに注目していることが示され、解釈可能性が裏付けられた。
• 手動による特徴選択を必要としないため、実際の産業用IIoT環境への展開における汎用性と導入のしやすさが向上した。