[논문 리뷰] Multi-Dimensional Self Attention based Approach for Remaining Useful Life Estimation

Zhi Lai, Mengjuan Liu외 2명|arXiv (Cornell University)|2022. 12. 12.

Machine Fault Diagnosis Techniques인용 수 5

한 줄 요약

이 논문은 IIoT 환경에서 다중 센서 RUL 추정을 위해 다차원 자기주도 어텐션 메커니즘과 LSTM을 조합한 모델을 제안한다. 시계열 데이터 내 특성 간 상호작용과 시간적 의존성을 학습함으로써, C-MAPSS 및 PHM08 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성하였으며, FD004에서 최대 14.38의 RMSE 향상과 PHM08에서 1060의 향상을 기록하였다.

ABSTRACT

Remaining Useful Life (RUL) estimation plays a critical role in Prognostics and Health Management (PHM). Traditional machine health maintenance systems are often costly, requiring sufficient prior expertise, and are difficult to fit into highly complex and changing industrial scenarios. With the widespread deployment of sensors on industrial equipment, building the Industrial Internet of Things (IIoT) to interconnect these devices has become an inexorable trend in the development of the digital factory. Using the device's real-time operational data collected by IIoT to get the estimated RUL through the RUL prediction algorithm, the PHM system can develop proactive maintenance measures for the device, thus, reducing maintenance costs and decreasing failure times during operation. This paper carries out research into the remaining useful life prediction model for multi-sensor devices in the IIoT scenario. We investigated the mainstream RUL prediction models and summarized the basic steps of RUL prediction modeling in this scenario. On this basis, a data-driven approach for RUL estimation is proposed in this paper. It employs a Multi-Head Attention Mechanism to fuse the multi-dimensional time-series data output from multiple sensors, in which the attention on features is used to capture the interactions between features and attention on sequences is used to learn the weights of time steps. Then, the Long Short-Term Memory Network is applied to learn the features of time series. We evaluate the proposed model on two benchmark datasets (C-MAPSS and PHM08), and the results demonstrate that it outperforms the state-of-art models. Moreover, through the interpretability of the multi-head attention mechanism, the proposed model can provide a preliminary explanation of engine degradation. Therefore, this approach is promising for predictive maintenance in IIoT scenarios.

연구 동기 및 목표

• 동적 운영 조건 하에서 복잡한 다중 센서 산업 시스템에서 정확한 RUL 추정 문제를 해결한다.
• 모든 센서와 시간 단계를 동일하게 취급하는 전통적 모델의 한계를 극복하여 특성 간 상호작용이나 시간적 중요도를 반영하지 못하는 점을 개선한다.
• 다양한 고장 모드와 운영 조건에 대해 잘 일반화되는 데이터 기반의 엔드 투 엔드 딥 러닝 모델을 개발한다.
• 어 attention 가중치를 활용하여 항공기 센서의 열화 추세를 식별함으로써 모델의 설명 가능성을 향상시킨다.
• 조건별 데이터 정규화와 어텐션 기반 특성 학습을 통해 RUL 예측 성능을 향상시킨다.

제안 방법

• 다중 센서 특성 간 상호작용과 다차원 시계열 데이터 내 시간 단계 간의 관계를 모델링하기 위해 다중 헤드 자기주도 어텐션 메커니즘을 활용한다.
• 스케일된 도트-곱 어텐션을 사용하여 특성과 시간 단계에 대한 동적 가중치를 계산함으로써, 모델이 관련 있는 열화 패턴에 집중할 수 있도록 한다.
• 센서 시퀀스 내 장기적인 시간적 의존성을 포착하기 위해 장기 기억 장기 연결(LSTM) 네트워크를 통합한다.
• 작동 조건별로 z-스코어 정규화를 적용하여 다양한 작동 조건으로 인한 노이즈를 감소시키며, 특히 FD002와 FD004에서 성능 향상을 이룬다.
• 융합된 특성 표현에서 최종 RUL 예측을 회귀하기 위해 다층 퍼셉트론(MLP) 헤드를 사용한다.
• 모델 일반화 및 학습 안정성을 향상시키기 위해 시간 윈도우 적용, 조각별 RUL 레이블링, K-평균 클러스터링을 활용한 데이터 전처리를 수행한다.

실험 결과

연구 질문

• RQ1 다차원 자기주도 어텐션 메커니즘이 다중 센서 RUL 추정에서 상호 센서 특성 간 상호작용과 내부 시퀀스 시간적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 조건별 데이터 정규화가 운영 조건이 다양한 데이터셋에서 RUL 예측 성능에 어떤 영향을 미치는가?
• RQ3 제안된 모델이 C-MAPSS 및 PHM08와 같은 벤치마크 데이터셋에서 기존 최신 기술(SOTA) 방법을 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 모델의 어텐션 메커니즘이 항공기 열화 추세에 대한 설명 가능한 통찰을 제공할 수 있는가?
• RQ5 가장 중요한 영향을 미치는 하이퍼파라미터(예: 윈도우 크기, 어텐션 헤드 수, R_max)는 무엇이며, 이를 최적화하는 방법은 무엇인가?

주요 결과

• 제안된 모델은 FD001에서 최저 RMSE 11.43, FD003에서 11.47, FD004에서 14.38, PHM08에서 1060을 기록하여 비교된 모든 SOTA 방법을 능가한다.
• FD002와 FD004에서 조건별 정규화가 운영 조건의 변동으로 인해 가려졌던 열화 추세를 복구함으로써 성능 향상에 기여한다.
• 모델은 C-MAPSS의 네 가지 데이터셋 전반에서 최신 기술(SOTA) 성능을 달성하였으며, 대부분의 경우 최저 RMSE를 기록하여 다양한 고장 모드에 대한 강력한 일반화 능력을 보였다.
• 절단 실험 결과, 다중 헤드 어텐션과 LSTM 구성 요소가 최적 성능을 내기 위해 필수적임을 확인하였으며, 각각 최종 예측 정확도에 기여하였다.
• 어텐션 시각화 결과, 모델이 엔진 열화와 관련된 관련 센서 특성과 시간 단계에 집중하는 것을 확인하였으며, 이는 설명 가능성의 증거로 작용한다.
• 모델은 수동적 특성 선택이 필요 없어 실제 산업용 IIoT 환경에서의 일반화 능력과 구현 용이성을 향상시켰다.