[論文レビュー] Graph Neural Networks for Leveraging Industrial Equipment Structure: An application to Remaining Useful Life Estimation

Jyoti Narwariya, Pankaj Malhotra+3 more|arXiv (Cornell University)|Jun 30, 2020

Machine Learning in Materials Science参考文献 20被引用数 24

ひとこと要約

本稿では、ターボファンエンジンなどの産業用機器のモジュラー構造を活用するグラフニューラルネットワーク（GNN）アプローチを提案する。センサーをノード、モジュール間の依存関係をエッジとしてモデル化することで、時系列データを構造に配慮した方法で処理するゲート付きGNN（GGNN）を用い、平坦な連結ベースラインと比較して残存耐用年数（RUL）推定性能を向上させる。アテンション機構により、高圧コンプレッサーのような故障寸前の部品に焦点を当てる。

ABSTRACT

Automated equipment health monitoring from streaming multisensor time-series data can be used to enable condition-based maintenance, avoid sudden catastrophic failures, and ensure high operational availability. We note that most complex machinery has a well-documented and readily accessible underlying structure capturing the inter-dependencies between sub-systems or modules. Deep learning models such as those based on recurrent neural networks (RNNs) or convolutional neural networks (CNNs) fail to explicitly leverage this potentially rich source of domain-knowledge into the learning procedure. In this work, we propose to capture the structure of a complex equipment in the form of a graph, and use graph neural networks (GNNs) to model multi-sensor time-series data. Using remaining useful life estimation as an application task, we evaluate the advantage of incorporating the graph structure via GNNs on the publicly available turbofan engine benchmark dataset. We observe that the proposed GNN-based RUL estimation model compares favorably to several strong baselines from literature such as those based on RNNs and CNNs. Additionally, we observe that the learned network is able to focus on the module (node) with impending failure through a simple attention mechanism, potentially paving the way for actionable diagnosis.

研究の動機と目的

• 既存のディープラーニングモデルがサブシステム間の明示的な構造的関係を無視するという限界を是正すること。
• 複雑機器の文書化されたモジュラー構造をディープラーニングモデルに組み込むことで、RUL推定性能が向上するかを検討すること。
• GNNがアテンション機構を通じて故障寸前の部品に着実に焦点を当てる能力を内蔵しているかを評価すること。
• ノードの分割や統合を含むグラフ構造の変化に対するGNNモデルのロバストネスを評価すること。
• すべてのセンサ入力を平坦に連結する従来のエンドツーエンド手法と比較して、マルチセンサデータを構造に配慮して処理することの利点を示すこと。

提案手法

• 各ノードをモジュールまたはセンサグループに対応させ、エッジをモジュール間の依存関係として定義する有向グラフとして機器を表現する。
• GGNNを用いて多次元時系列データを処理し、ノード表現をグラフ構造に沿ったメッセージパッシングによって更新する。
• 最終的なRUL予測のためのノードレベル表現の集約に、学習可能なアテンション機構を適用し、モジュールごとの動的重み付けを可能にする。
• FD001–FD004ターボファンエンジンベンチマークデータセットを用い、さまざまなグラフ構成でモデルを訓練・評価する。
• 強力なRNNおよびCNNベースライン、およびグラフ構造を変更したアブレーションバージョン（例：ノード数の増加または減少）と性能を比較する。
• RUL予測誤差を最小化するために、平均絶対誤差（MAE）損失関数を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 産業用機器の既知のモジュラー構造をディープラーニングモデルに組み込むことで、RUL推定性能が向上するか？
• RQ2 すべてのセンサデータを平坦な多次元時系列として扱う標準的なRNNおよびCNNモデルと比較して、GNNベースのアプローチは性能が優れているか？
• RQ3 GNNモデルのアテンション機構は、既知の故障事例で見られるように、故障寸前のモジュールを特定し、焦点を当てることができるか？
• RQ4 ノードの分割や統合などのグラフ構造の変化に対して、モデルの性能はどれほど感受性を示すか？
• RQ5 すべてのセンサ信号を直接連結するのではなく、機器構造に従ったモジュラー化されたセンサ処理には、利点があるか？

主な発見

• 提案されたGNNベースのRUL推定モデルは、FD001–FD004ターボファンエンジンベンチマークで強力なRNNおよびCNNベースラインを上回り、構造的インダクティブバイアスの利点を示している。
• ノード数を増加させた（元のノードを分割した）モデルは、FD001では元のグラフと同等の性能を達成し、FD004ではそれ以上に優れた性能を示したが、計算コストが高くなった。
• ノードを統合すると性能が低下し、「すべてのセンサに1つのノード」の構成では最も悪い結果となったことから、細分化された構造が有益であることが示された。
• FD002では、RULが短くなるに従い、アテンション機構がHPCモジュール（最初に故障する部位）に焦点を当てるようになることが確認され、暗黙的な診断能力を示唆している。
• FD001ではアテンション機構が故障モジュールを一貫して強調しないことから、状況依存的な挙動であり、改善の余地があることが示された。
• ノード間でのメッセージパッシングにより性能が向上したため、モジュール間の依存関係をモデル化することで予測精度が向上することが確認された。