[논문 리뷰] An empirical evaluation of attention-based multi-head models for improved turbofan engine remaining useful life prediction

Abiodun Ayodeji, Wenhai Wang외 3명|arXiv (Cornell University)|2021. 09. 04.

Fault Detection and Control Systems참고 문헌 26인용 수 6

한 줄 요약

이 논문은 터보팬 엔진의 잔여 수명(RUL) 예측을 햖을 때 이질적인 센서 신호를 별도로 모델링함으로써 성능을 향상시키기 위해 다중 헤드 어텐션 기반 딥러닝 프레임워크를 제안한다. CMAPS 기준 평가를 통해 다중 헤드 아키텍처—특히 간단한 다중 헤드 MLP—가 최신 기술 모델을 능가하는 것으로 나타났으며, 어텐션 메커니즘은 모델 아키텍처에 따라 일관되지 않은 성능 향상을 제공한다.

ABSTRACT

A single unit (head) is the conventional input feature extractor in deep learning architectures trained on multivariate time series signals. The importance of the fixed-dimensional vector representation generated by the single-head network has been demonstrated for industrial machinery condition monitoring and predictive maintenance. However, processing heterogeneous sensor signals with a single-head may result in a model that cannot explicitly account for the diversity in time-varying multivariate inputs. This work extends the conventional single-head deep learning models to a more robust form by developing context-specific heads to independently capture the inherent pattern in each sensor reading. Using the turbofan aircraft engine benchmark dataset (CMAPSS), an extensive experiment is performed to verify the effectiveness and benefits of multi-head multilayer perceptron, recurrent networks, convolution network, the transformer-style stand-alone attention network, and their variants for remaining useful life estimation. Moreover, the effect of different attention mechanisms on the multi-head models is also evaluated. In addition, each architecture's relative advantage and computational overhead are analyzed. Results show that utilizing the attention layer is task-sensitive and model dependent, as it does not provide consistent improvement across the models investigated. The best model is further compared with five state-of-the-art models, and the comparison shows that a relatively simple multi-head architecture performs better than the state-of-the-art models. The results presented in this study demonstrate the importance of multi-head models and attention mechanisms to an improved understanding of the remaining useful life of industrial assets.

연구 동기 및 목표

• 산업 기계의 이질적인 多변량 센서 신호에서 다양한 시간 패턴을 포착하는 데에 단일 헤드 모델의 한계를 해결하기 위해.
• 터보팬 엔진의 RUL 예측 정확도 향상에 다중 헤드 아키텍처의 효과를 평가하기 위해.
• 다양한 딥러닝 아키텍처(MLP, RNN, CNN, Transformer)에서 다양한 어텐션 메커니즘이 성능에 미치는 영향을 조사하기 위해.
• 다중 헤드 모델과 전통적인 단일 헤드 모델 간의 계산 효율성 및 상대적 이점 비교하기 위해.
• 가장 성능이 뛰어난 모델을 다섯 개의 최신 기술 RUL 예측 모델과 비교하기 위해.

제안 방법

• 각 헤드가 개별적으로 하나의 센서 신호를 처리하도록 다중 헤드 신경망 아키텍처를 설계하고 구현하여 센서별 시간 패턴을 포착한다.
• MLP, RNN, CNN, Transformer 아키텍처의 다중 헤드 변형에 자기 어텐션 메커니즘을 통합하여 시간 단계 간의 특징 중요도를 동적으로 가중한다.
• 표준 RUL 예측 평가 지표(RMSE, MAE 등)를 사용하여 CMAPS 터보팬 엔진 데이터셋에서 모델을 훈련하고 평가한다.
• 어떤 기초 아키텍처에 대해 어텐션 메커니즘이 미치는 영향을 분리하기 위해 분석 실험을 실시한다.
• 예측 정확도와 계산 비용(FLOPs, 추론 시간) 측면에서 모델 성능을 비교한다.
• 최종 RUL 추정 전에 개별 헤드의 예측을 융합하기 위해 후기 융합 전략을 사용한다.

실험 결과

연구 질문

• RQ1 각 센서 신호에 대해 다중 어텐션 헤드를 사용할 경우 단일 헤드 모델 대비 RUL 예측 성능 향상이 이루어지는가?
• RQ2 다양한 기본 아키텍처에서 다양한 어텐션 메커니즘(예: 스케일드 도트-프로덕트, 애디티브)이 다중 헤드 모델의 성능에 미치는 영향은 어떠한가?
• RQ3 어떤 모델 유형(예: MLP 대비 RNN 대비 Transformer)에 관계없이 어텐션 메커니즘의 성능 향상이 일관된가?
• RQ4 다중 헤드 어텐션 모델에서 예측 정확도와 계산 오버헤드 사이의 상충 관계는 어떠한가?
• RQ5 상대적으로 단순한 다중 헤드 아키텍처가 더 복잡한 최신 기술 모델보다 RUL 예측에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• 어텐션 기반 다중 헤드 다층퍼셉트론(MLP)이 테스트된 모든 다른 아키텍처보다 뛰어난 성능을 보였으며, CMAPS 데이터셋에서 가장 낮은 RMSE를 기록했다.
• 어떤 모델에 대해서나 어텐션 메커니즘이 일관된 향상을 제공하지는 않았으며, 이는 어텐션의 이점이 모델에 따라 달라지고 작업에 민감함을 시사한다.
• 가장 성능이 뛰어난 모델인 어텐션 기반 다중 헤드 MLP는 CMAPS 벤치마크에서 다섯 개의 최신 기술 모델보다 더 높은 RUL 예측 정확도를 달성했다.
• 단일 헤드 대비 다중 헤드 모델이 다변량 센서 데이터의 이질적인 시간 패턴을 더 잘 포착하는 데에 뛰어난 능력을 보였다.
• 계산 오버헤드는 아키텍처에 따라 크게 달라졌으며, Transformer 기반 모델이 가장 비용이 많이 들었고, 다중 헤드 MLP는 뛰어난 정확도-효율성 균형을 제공했다.
• 결과적으로 다중 헤드 설계를 통한 맥락 기반 특징 추출이 산업용 RUL 추정에서 모델의 해석 가능성과 예측 성능을 향상시킨다는 것이 검증되었다.