[論文レビュー] Graph Neural Networks with Trainable Adjacency Matrices for Fault Diagnosis on Multivariate Sensor Data

Alexander Kovalenko, Vitaliy Pozdnyakov+1 more|arXiv (Cornell University)|Oct 20, 2022

Advanced Data Processing Techniques被引用数 5

ひとこと要約

本稿では、産業プロセスからの多次元センサデータにおける故障診断を目的として、学習可能な隣接行列を備えたグラフニューラルネットワーク（GNN）を提案する。学習中に複数の隣接行列を含むグラフ構造を学習することで、センサ間の動的で隠れた依存関係を捉え、トレーニングデータを減らしてもRNN や従来のGNN より優れた性能を達成し、Tennessee Eastman Processベンチマークで最先端の性能を実現した。

ABSTRACT

Timely detected anomalies in the chemical technological processes, as well as the earliest detection of the cause of the fault, significantly reduce the production cost in the industrial factories. Data on the state of the technological process and the operation of production equipment are received by a large number of different sensors. To better predict the behavior of the process and equipment, it is necessary not only to consider the behavior of the signals in each sensor separately, but also to take into account their correlation and hidden relationships with each other. Graph-based data representation helps with this. The graph nodes can be represented as data from the different sensors, and the edges can display the influence of these data on each other. In this work, the possibility of applying graph neural networks to the problem of fault diagnosis in a chemical process is studied. It was proposed to construct a graph during the training of graph neural network. This allows to train models on data where the dependencies between the sensors are not known in advance. In this work, several methods for obtaining adjacency matrices were considered, as well as their quality was studied. It has also been proposed to use multiple adjacency matrices in one model. We showed state-of-the-art performance on the fault diagnosis task with the Tennessee Eastman Process dataset. The proposed graph neural networks outperformed the results of recurrent neural networks.

研究の動機と目的

• 産業故障診断におけるセンサ間の未知または複雑な依存関係の課題に対処すること。
• 事前に定義されたまたは静的な関係に依存せず、トレーニング中にグラフ構造（隣接行列）を学習するGNNアーキテクチャの開発。
• 産業プロセスからの多次元時系列データにおける故障検出および診断の精度向上。
• 多様な運用モードや動的依存関係を捉えるために、複数の学習可能な隣接行列の有効性の調査。
• Tennessee Eastman Processデータセットにおいて、MLP、1DCNN、GRUなどのベースラインモデルと比較して優れた性能を示すこと。

提案手法

• 学習可能な重み行列Wを用いて、微分可能パラメータとして隣接行列を学習するグラフ構造学習レイヤーを導入。
• 学習可能な隣接行列Wを備えたGNNを採用し、エッジ重みはWに微分可能活性化関数（例：tanh）を適用して計算。
• 複数の並列GNNモジュールを備えたマルチ-GNNアーキテクチャを提案。各モジュールは独自の学習可能な隣接行列を用い、異なる運用モードや依存関係パターンをモデル化。
• 故障診断のベンチマークとしてTennessee Eastman Processデータセットを用い、52台のセンサからの多次元時系列データと28種類の故障タイプを含む。
• 誤検知率（TPR/FPR）および到着遅延時間（ADD）を最適化するために、バックプロパゲーションを用いてエンドツーエンドでモデルを訓練。
• 相関に基づく行列との比較およびノードの影響パターンの分析により、学習された隣接行列の品質を評価。

実験結果

リサーチクエスチョン

• RQ1 学習可能な隣接行列を備えたGNNは、固定または事前計算された隣接行列を用いるモデルよりも、多次元センサデータにおける故障診断で優れた性能を発揮できるか？
• RQ2 トレーニング中にグラフ構造を学習することで、真の依存関係が不明な状況でも故障検出性能が向上するか？
• RQ3 複数の学習可能な隣接行列を用いることで、異なる運用モードや動的依存関係を捉えることができ、モデル性能が向上するか？
• RQ4 構造的品質および診断的関連性の観点から、学習された隣接行列は相関に基づく行列と比べてどのように差がつくか？
• RQ5 共有パラメータと複数の隣接行列を備えた提案されたマルチ-GNNアーキテクチャは、小規模データセットにおいても一般化性能に優れているか？

主な発見

• 提案された学習可能な隣接行列を備えたGNNは、Tennessee Eastman Processベンチマークで最先端の性能を達成し、MLP、1DCNN、GRUのベースラインを上回った。
• 完全データセットでは、学習可能な隣接行列を備えた単一GNNモジュールが、検出TPR 0.8666、FPR 0.0459、ADD 29.93を達成した。
• 10個の並列モジュールを備えたマルチ-GNNアーキテクチャは、より高いTPR（0.8732）を達成し、特に10％のトレーニングデータでの一般化性能が優れていた。
• 小規模データセットでは、マルチ-GNNモデルが検出TPR 0.8732、FPR 0.0547を達成し、トレーニング可能なパラメータ数が153,949と、単一GNNモデルよりも著しく少なかった。
• 学習された隣接行列は、ノード間で異なる影響パターンを示し、非定常的で意味のある関係を捉えており、運用モードに応じた動的依存関係をモデル化していることが示唆された。
• モデルは小規模データセットに対しても頑健であり、28種類の故障のうち15種類でマルチ-GNNアーキテクチャが単一GNNモデルを上回る性能を示した。