[論文レビュー] An empirical evaluation of attention-based multi-head models for improved turbofan engine remaining useful life prediction

Abiodun Ayodeji, Wenhai Wang+3 more|arXiv (Cornell University)|Sep 4, 2021

Fault Detection and Control Systems参考文献 26被引用数 6

ひとこと要約

本稿では、異種のセンサー信号を独立してモデル化することで、ターボファンエンジンの残存耐用年数（RUL）予測を向上させる、マルチヘッドアテンションを用いたディーブラーニングフレームワークを提案する。CMAPSSベンチマークを用いて、特にシンプルなマルチヘッドMLPが、最先端のモデルを上回ることを示した。アテンション機構は、モデルアーキテクチャに応じて一貫した向上効果を示さないことが判明した。

ABSTRACT

A single unit (head) is the conventional input feature extractor in deep learning architectures trained on multivariate time series signals. The importance of the fixed-dimensional vector representation generated by the single-head network has been demonstrated for industrial machinery condition monitoring and predictive maintenance. However, processing heterogeneous sensor signals with a single-head may result in a model that cannot explicitly account for the diversity in time-varying multivariate inputs. This work extends the conventional single-head deep learning models to a more robust form by developing context-specific heads to independently capture the inherent pattern in each sensor reading. Using the turbofan aircraft engine benchmark dataset (CMAPSS), an extensive experiment is performed to verify the effectiveness and benefits of multi-head multilayer perceptron, recurrent networks, convolution network, the transformer-style stand-alone attention network, and their variants for remaining useful life estimation. Moreover, the effect of different attention mechanisms on the multi-head models is also evaluated. In addition, each architecture's relative advantage and computational overhead are analyzed. Results show that utilizing the attention layer is task-sensitive and model dependent, as it does not provide consistent improvement across the models investigated. The best model is further compared with five state-of-the-art models, and the comparison shows that a relatively simple multi-head architecture performs better than the state-of-the-art models. The results presented in this study demonstrate the importance of multi-head models and attention mechanisms to an improved understanding of the remaining useful life of industrial assets.

研究の動機と目的

• 産業機械の異種多次元センサ信号における多様な時間的パターンを単一ヘッドモデルが捉える能力の限界を是正すること。
• マルチヘッドアーキテクチャのRUL予測精度向上効果を評価すること。
• 異なるアテンション機構が、MLP、RNN、CNN、Transformerといったさまざまなディーブラーニングアーキテクチャにおいて性能に与える影響を調査すること。
• マルチヘッドモデルと従来の単一ヘッドモデルとの間の計算効率および相対的利点を比較すること。
• 最も性能の良いモデルを、5つの最先端のRUL予測モデルと比較してベンチマークすること。

提案手法

• 各ヘッドが個別に1つのセンサ信号を処理するように、マルチヘッドニューラルネットワークアーキテクチャを設計・実装し、センサ固有の時間的パターンを捉える。
• MLP、RNN、CNN、Transformerアーキテクチャのマルチヘッド版に自己アテンション機構を統合し、時間ステップにわたる特徴量の重要度を動的に重みづけする。
• 標準的なRUL予測指標（例：RMSE、MAE）を用いて、CMAPSSターボファンエンジンデータセット上でモデルを学習・評価する。
• アブレーションスタディを実施し、さまざまなベースアーキテクチャに対してアテンション機構の影響を分離する。
• 予測精度および計算コスト（FLOPs、推論時間）の観点からモデルの性能を比較する。
• 最終的なRUL推定の前に、個々のヘッドからの予測をレイトフェージョン戦略で統合する。

実験結果

リサーチクエスチョン

• RQ1 1つのセンサ信号に対して複数のアテンションベースヘッドを用いることで、単一ヘッドモデルに比べてRUL予測性能が向上するか？
• RQ2 スケールドドットプロダクトやアドディティブなど、異なるアテンション機構が、さまざまなバックボーンアーキテクチャにおけるマルチヘッドモデルの性能に与える影響は何か？
• RQ3 アテンション機構による性能向上は、MLPやRNNやTransformerといった異なるモデルタイプにおいて一貫しているか？
• RQ4 マルチヘッドアテンションモデルにおいて、予測精度と計算オーバーヘッドのトレードオフはどのようなものか？
• RQ5 比較的単純なマルチヘッドアーキテクチャが、より複雑な最先端モデルを上回る性能を示せるか？

主な発見

• アテンションを備えたマルチヘッドマルチレイヤーパーセプトロン（MLP）が、テストされたすべてのアーキテクチャの中で最も優れた性能を示し、CMAPSSデータセットで最小のRMSEを達成した。
• アテンション機構がすべてのモデルで一貫した向上効果を示すわけではなく、その効果はモデル依存かつタスクに敏感であることが判明した。
• 最も優れた性能を示したモデル、すなわちアテンションを備えたマルチヘッドMLPは、CMAPSSベンチマーク上、5つの最先端モデルを上回るRUL予測精度を達成した。
• マルチヘッドモデルは、単一ヘッドモデルに比べて、多次元センサデータ内の異種時間的パターンを捉える能力に優れていた。
• 計算オーバーヘッドはアーキテクチャによって顕著に異なり、Transformerベースのモデルが最も高コストであった一方、マルチヘッドMLPは優れた精度-効率トレードオフを実現した。
• マルチヘッド設計によるコンテキスト特化型特徴抽出が、産業用RUL推定におけるモデルの解釈可能性と予測性能の両方を向上させることを実証した。