[논문 리뷰] Graph Neural Networks with Trainable Adjacency Matrices for Fault Diagnosis on Multivariate Sensor Data

Alexander Kovalenko, Vitaliy Pozdnyakov외 1명|arXiv (Cornell University)|2022. 10. 20.

Advanced Data Processing Techniques인용 수 5

한 줄 요약

이 논문은 산업 공정의 多변량 센서 데이터에서 고장 진단을 위해 학습 가능한 인접 행렬을 갖춘 그래프 신경망(GNN)을 제안한다. 학습 중에 다중 인접 행렬을 포함한 그래프 구조를 학습함으로써 센서 간의 동적이고 숨겨진 상관관계를 포착하며, 테네시 이스트먼 프로세스 벤치마크에서 기존의 RNN과 전통적인 GNN보다 우수한 성능을 기록한다. 특히 훈련 데이터가 감소한 경우에도 성능이 뛰어나다.

ABSTRACT

Timely detected anomalies in the chemical technological processes, as well as the earliest detection of the cause of the fault, significantly reduce the production cost in the industrial factories. Data on the state of the technological process and the operation of production equipment are received by a large number of different sensors. To better predict the behavior of the process and equipment, it is necessary not only to consider the behavior of the signals in each sensor separately, but also to take into account their correlation and hidden relationships with each other. Graph-based data representation helps with this. The graph nodes can be represented as data from the different sensors, and the edges can display the influence of these data on each other. In this work, the possibility of applying graph neural networks to the problem of fault diagnosis in a chemical process is studied. It was proposed to construct a graph during the training of graph neural network. This allows to train models on data where the dependencies between the sensors are not known in advance. In this work, several methods for obtaining adjacency matrices were considered, as well as their quality was studied. It has also been proposed to use multiple adjacency matrices in one model. We showed state-of-the-art performance on the fault diagnosis task with the Tennessee Eastman Process dataset. The proposed graph neural networks outperformed the results of recurrent neural networks.

연구 동기 및 목표

• 산업 고장 진단에서 센서 간의 알려지지 않은 또는 복잡한 상관관계 문제를 해결하기 위해.
• 사전 정의된 또는 정적 관계에 의존하지 않고, 훈련 중에 그래프 구조(인접 행렬)를 학습하는 GNN 아키텍처를 개발하기 위해.
• 산업 공정의 다변량 시계열 데이터에서 고장 탐지 및 진단 정확도를 향상시키기 위해.
• 다양한 운영 모드와 동적 상관관계를 포착하는 데에 다중 학습 가능한 인접 행렬의 효과를 조사하기 위해.
• 테네시 이스트먼 프로세스 데이터셋에서 기준 모델인 MLP, 1DCNN, GRU와의 비교를 통해 우수한 성능을 입증하기 위해.

제안 방법

• 학습 가능한 가중치 행렬 W를 사용하여 기저가 되는 인접 행렬을 미분 가능한 파라미터로 학습하는 그래프 구조 학습 레이어를 도입한다.
• 학습 가능한 인접 행렬 W를 갖춘 GNN을 활용하며, 간선 가중치는 W에 대해 미분 가능한 활성화 함수(예: tanh)를 적용하여 계산한다.
• 다양한 운영 모드 또는 상관관계 패턴을 모델링하기 위해 각각의 독립적인 학습 가능한 인접 행렬을 사용하는 병렬 GNN 모듈을 포함한 다중 GNN 아키텍처를 제안한다.
• 28종의 고장 유형과 52개 센서의 다변량 시계열 데이터를 포함한 테네시 이스트먼 프로세스 데이터셋을 고장 진단의 벤치마크로 사용한다.
• 역전파를 사용하여 엔드 투 엔드로 모델을 훈련하며, 고장 탐지 성능(TPR/FPR)과 도착 지연 시간(ADD)을 최적화한다.
• 학습된 인접 행렬의 품질을 평가하기 위해 상관관계 기반 행렬과 비교하고, 노드의 影향 패턴을 분석한다.

실험 결과

연구 질문

• RQ1 학습 가능한 인접 행렬을 갖춘 GNN이 다변량 센서 데이터에서 고장 진단 시 고정되거나 사전 계산된 인접 행렬을 사용하는 모델보다 우수한 성능을 보일 수 있는가?
• RQ2 진정한 상관관계가 알려지지 않은 상황에서, 훈련 중에 그래프 구조를 학습하는 것이 고장 탐지 성능에 어떤 영향을 미치는가?
• RQ3 다중 학습 가능한 인접 행렬을 통해 다양한 운영 모드 또는 동적 상관관계를 포착함으로써 모델 성능을 향상시킬 수 있는가?
• RQ4 학습된 인접 행렬은 상관관계 기반 행렬과 비교해 구조적 품질과 진단 관련성 측면에서 어떻게 다른가?
• RQ5 공유 파라미터와 다중 인접 행렬을 갖춘 제안된 다중 GNN 아키텍처는 소규모 데이터셋에서도 일반화 성능이 뛰어나게 되는가?

주요 결과

• 제안된 학습 가능한 인접 행렬을 갖춘 GNN은 테네시 이스트먼 프로세스 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, MLP, 1DCNN, GRU 기준 모델을 모두 능가하였다.
• 전체 데이터셋에서 학습 가능한 인접 행렬을 갖춘 단일 GNN 모듈은 탐지 TPR 0.8666, FPR 0.0459, ADD 29.93을 기록하였다.
• 10개의 병렬 모듈을 가진 다중 GNN 아키텍처는 더 높은 TPR(0.8732)를 기록하였으며, 특히 훈련 데이터가 10%로 감소한 경우에도 뛰어난 일반화 성능을 보였다.
• 감소된 데이터셋에서 다중 GNN 모델은 탐지 TPR 0.8732, FPR 0.0547를 기록하였고, 학습 가능한 파라미터 수가 153,949개로 단일 GNN 모델보다 현저히 적었다.
• 학습된 인접 행렬은 센서 간에 의미 있는 비정적 관계를 포착하였으며, 노드 간의 영향 패턴이 다양하게 변화함으로써 다양한 운영 모드에서의 동적 상관관계를 모델링하는 데 기여하였다.
• 모델은 소규모 데이터셋에서도 뛰어난 강건성을 보였으며, 28개 고장 유형 중 15개에서 다중 GNN 아키텍처가 단일 GNN 모델보다 뛰어난 성능을 보였다.