[논문 리뷰] Graph Neural Networks for Leveraging Industrial Equipment Structure: An application to Remaining Useful Life Estimation

Jyoti Narwariya, Pankaj Malhotra외 3명|arXiv (Cornell University)|2020. 06. 30.

Machine Learning in Materials Science참고 문헌 20인용 수 24

한 줄 요약

이 논문은 터보팬 엔진과 같은 산업 장비의 모듈식 구조를 활용하는 그래프 신경망(GNN) 접근법을 제안한다. 센서를 노드로, 모듈 간 의존 관계를 간선으로 모델링함으로써, 시간 시리즈 데이터를 구조 인식 방식으로 처리하는 게이트드 GNN(GGNN)을 사용하여 잔여 수명(RUL) 추정 성능을 평탄한 연결 기반 모델보다 향상시킨다. 어텐션 메커니즘은 고압 압축기와 같은 고장 위험이 있는 구성 요소를 강조한다.

ABSTRACT

Automated equipment health monitoring from streaming multisensor time-series data can be used to enable condition-based maintenance, avoid sudden catastrophic failures, and ensure high operational availability. We note that most complex machinery has a well-documented and readily accessible underlying structure capturing the inter-dependencies between sub-systems or modules. Deep learning models such as those based on recurrent neural networks (RNNs) or convolutional neural networks (CNNs) fail to explicitly leverage this potentially rich source of domain-knowledge into the learning procedure. In this work, we propose to capture the structure of a complex equipment in the form of a graph, and use graph neural networks (GNNs) to model multi-sensor time-series data. Using remaining useful life estimation as an application task, we evaluate the advantage of incorporating the graph structure via GNNs on the publicly available turbofan engine benchmark dataset. We observe that the proposed GNN-based RUL estimation model compares favorably to several strong baselines from literature such as those based on RNNs and CNNs. Additionally, we observe that the learned network is able to focus on the module (node) with impending failure through a simple attention mechanism, potentially paving the way for actionable diagnosis.

연구 동기 및 목표

• 기존 딥러닝 모델이 하위 시스템 간 명시적 구조적 관계를 忽略하는 데서 비롯되는 한계를 해결하기 위해.
• 복잡한 기계의 문서화된 모듈식 아키텍처를 딥러닝 모델에 통합하면 RUL 추정 성능 향상에 기여하는지 탐색하기 위해.
• GNN 모델이 어텐션 메커니즘을 통해 고장을 앞둔 구성 요소를 암묵적으로 식별하고 집중함으로써 실질적인 진단 정보를 제공할 수 있는지 평가하기 위해.
• 노드 분할 및 융합과 같은 그래프 구조의 변화에 대해 GNN 모델의 강건성(내성)을 평가하기 위해.
• 모든 센서 입력을 단순히 연결하는 전통적인 엔드 투 엔드 접근 방식과는 대비하여, 장비의 구조에 따라 다중 센서 데이터를 구조적으로 처리하는 것이 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• 각 노드가 모듈 또는 센서 그룹에 대응하고 간선이 모듈 간 의존 관계를 나타내는 방향 그래프로 장비를 표현하기.
• 노드 표현을 그래프 구조를 따라 메시지 전달 방식으로 업데이트함으로써 다변량 시간 시리즈 데이터를 GGNN으로 처리하기.
• 최종 RUL 예측을 위해 노드 수준 표현을 집계하기 위해 학습 가능한 어텐션 메커니즘을 적용하여 모듈 간 동적 가중치를 부여하기.
• FD001–FD004 터보팬 엔진 벤치마크 데이터셋을 사용하여 다양한 그래프 구성에서 모델을 훈련 및 평가하기.
• 강력한 RNN 및 CNN 기반 베이스라인과의 성능 비교를 통해, 그래프 구조를 수정한 아블레이션 변형(예: 노드 수 증가 또는 감소)의 영향 평가하기.
• RUL 예측 오차를 최소화하기 위해 평균 절대 오차(MAE) 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련하기.

실험 결과

연구 질문

• RQ1 산업 장비의 알려진 모듈식 구조를 딥러닝 모델에 통합하면 RUL 추정 성능 향상에 기여하는가?
• RQ2 모든 센서 데이터를 평탄한 다변량 시퀀스로 취급하는 표준 RNN 및 CNN 모델과 비교해 볼 때, GNN 기반 접근법이 성능에서 뛰어나게 되는가?
• RQ3 GNN 모델의 어텐션 메커니즘이 알려진 고장 시나리오에서 고장을 앞둔 모듈을 식별하고 집중할 수 있는가?
• RQ4 노드 분할 또는 융합과 같은 그래프 구조의 변화에 대해 모델 성능이 얼마나 민감한가?
• RQ5 모든 센서 신호를 직접 연결하는 것과는 대비하여, 장비의 구조에 따라 모듈화된 센서 처리 방식이 성능 향상에 기여하는가?

주요 결과

• 제안된 GNN 기반 RUL 추정 모델은 FD001–FD004 터보팬 엔진 벤치마크에서 강력한 RNN 및 CNN 기반 베이스라인을 능가하며, 구조적 인도적 편향(구조적 인식)의 이점을 입증한다.
• 노드 수를 늘린 모델(기존 노드 분할)은 FD001에서는 원본 그래프와 유사한 성능를 보이며, FD004에서는 더 뛰어난 성능를 기록하지만 계산 비용이 증가한다.
• 노드를 융합할 경우 성능이 저하되며, '모든 센서에 대해 하나의 노드'로 설정한 구성에서 가장 열악한 성능를 보이며, 세분화된 구조가 유리함을 시사한다.
• FD002에서는 RUL가 감소함에 따라 어텐션 메커니즘이 HPC 모듈(일반적으로 첫 번째로 고장나는 구성 요소)에 더 많은 주의를 기울이는 경향을 보이며, 암묵적인 진단 능력을 시사한다.
• FD001에서는 어텐션 메커니즘이 고장을 앞둔 모듈을 일관되게 강조하지 못하며, 이는 맥락 의존적 행동임을 시사하고 향후 개선 여지를 보여준다.
• 노드 간 메시지 전달이 성능 향상에 기여함을 확인하였으며, 이는 모듈 간 의존 관계를 모델링함으로써 예측 정확도가 향상됨을 확인한다.