[논문 리뷰] A Transformer-based Framework For Multi-variate Time Series: A Remaining Useful Life Prediction Use Case

Oluwaseyi Ogunfowora, Homayoun Najjaran|arXiv (Cornell University)|2023. 08. 19.

Currency Recognition and Detection인용 수 4

한 줄 요약

이 논문은 다변량 시계열 예측을 위한 네이티브 인코더-트랜스포머 프레임워크를 제안하며, 주로 잔여 수명(RUL) 예측에 초점을 맞춘다. 확장 윈도우 데이터 준비 방법을 도입하고 정규화 및 위치 인코딩을 최적화하여 C-MAPSS 벤치마크 데이터셋에서 다음으로 우수한 SOTA 모델 대비 평균 137.65% 향상된 성능을 달성한다.

ABSTRACT

In recent times, Large Language Models (LLMs) have captured a global spotlight and revolutionized the field of Natural Language Processing. One of the factors attributed to the effectiveness of LLMs is the model architecture used for training, transformers. Transformer models excel at capturing contextual features in sequential data since time series data are sequential, transformer models can be leveraged for more efficient time series data prediction. The field of prognostics is vital to system health management and proper maintenance planning. A reliable estimation of the remaining useful life (RUL) of machines holds the potential for substantial cost savings. This includes avoiding abrupt machine failures, maximizing equipment usage, and serving as a decision support system (DSS). This work proposed an encoder-transformer architecture-based framework for multivariate time series prediction for a prognostics use case. We validated the effectiveness of the proposed framework on all four sets of the C-MAPPS benchmark dataset for the remaining useful life prediction task. To effectively transfer the knowledge and application of transformers from the natural language domain to time series, three model-specific experiments were conducted. Also, to enable the model awareness of the initial stages of the machine life and its degradation path, a novel expanding window method was proposed for the first time in this work, it was compared with the sliding window method, and it led to a large improvement in the performance of the encoder transformer model. Finally, the performance of the proposed encoder-transformer model was evaluated on the test dataset and compared with the results from 13 other state-of-the-art (SOTA) models in the literature and it outperformed them all with an average performance increase of 137.65% over the next best model across all the datasets.

연구 동기 및 목표

• 예측 분야에서 다변량 시계열 예측을 위한 강력하고 종단 간 트랜스포머 기반 프레임워크를 개발하기 위해.
• 원래 자연어 처리(NLP)를 위해 설계된 네이티브 트랜스포머 아키텍처를 비-i.i.d. 및 비 stationary 특성을 지닌 시계열 데이터에 효과적으로 적용하기 위해.
• 다변량 센서 데이터에서의 자기상관, 비정상성, 복잡한 열화 패턴 등의 과제를 해결하여 RUL 예측 정확도를 향상시키기 위해.
• 터보팬 엔진 열화에 대한 표준 C-MAPSS 벤치마크 데이터셋을 사용하여 모델 성능을 평가하기 위해.
• 트랜스포머 기반 시계열 모델링에 최적의 초모수 및 데이터 전처리 전략(예: 정규화, 위치 인코딩)을 식별하기 위해.

제안 방법

• 추가적인 어텐션 헤드나 잔차 연결 없이 순수한 인코더-트랜스포머 아키텍처를 사용하여 다변량 시계열의 장거리 의존성을 모델링한다.
• 모델의 초기 열화 단계에 대한 인식을 향상시키고 전통적인 슬라이딩 윈도우 방법보다 성능을 향상시키기 위해, 새로운 확장 윈도우 데이터 준비 방법을 제안한다.
• 다변량 센서 채널 간 데이터의 정상성 향상과 관련 특징 추출을 위해 군집 기반 정규화 기법을 적용한다.
• 층별 정규화와 배치 정규화, 고정된 위치 인코딩과 학습 가능한 위치 인코딩을 비교하여 시계열 데이터에 최적화된 트랜스포머 성능을 확보한다.
• 일반화 및 예측 정확도에 미치는 영향을 평가하기 위해 최소-최대 스케일링, z-스코어, 군집 기반의 세 가지 데이터 변환 방법을 적용한다.
• 표준 조건 하에서 종합적인 평가를 위해 C-MAPSS 데이터셋을 사용하며, 이는 터보팬 엔진 열화의 네 가지 다른 시나리오(FD001–FD004)를 포함한다.

실험 결과

연구 질문

• RQ1 아키텍처 보완 없이 네이티브 인코더-트랜스포머 아키텍처가 다변량 시계열 RUL 예측에서 최신 기술(SOTA) 성능을 달성할 수 있는가?
• RQ2 확장 윈도우 데이터 준비 방법이 RUL 예측 작업에서 트랜스포머 모델 성능 향상에 있어 슬라이딩 윈도우 방법보다 어떻게 우월한가?
• RQ3 트랜스포머 모델의 시계열 예측에서 정규화, 위치 인코딩, 입력 변환의 최적 조합은 무엇인가?
• RQ4 제안된 프레임워크는 C-MAPSS 벤치마크의 다양한 열화 패턴에서 기존 SOTA 모델을 초월하는가?
• RQ5 확장 윈도우 방법이 다른 데이터셋에서는 뚜렷한 성능 향상을 보였지만, FD001 및 FD003 데이터셋에서는 제한된 향상만을 보이는 이유는 무엇인가?

주요 결과

• 제안된 인코더-트랜스포머 모델은 C-MAPSS 모든 데이터셋에서 평균 RUL 예측 점수 444.14를 기록하여 다음으로 뛰어난 모델보다 평균 137.65% 높은 성능을 달성했다.
• 모델은 평균 RMSE 13.66을 기록하여 다음으로 뛰어난 모델(MSTformer)의 14.755 RMSE보다 유의미하게 낮았다.
• 확장 윈도우 방법은 슬라이딩 윈도우 방법보다 뚜렷한 성능 향상을 이끌었으며, 특히 FD002 및 FD004에서 RMSE를 10% 이상 감소시켰다.
• 학습 가능한 위치 인코딩과 층별 정규화가 이 시계열 작업에서 고정된 위치 인코딩과 배치 정규화보다 더 뛰어난 성능을 보였다.
• 군집 기반 정규화 기법은 특징 표현을 향상시켜 다양한 엔진 열화 시나리오에서 모델 일반화 능력을 향상시켰다.
• 모델은 모든 네 개의 C-MAPSS 데이터셋에서 뛰어난 성능을 보였으며, 특히 FD002 및 FD004에서 예측이 가장 일관되게 정확했고, 초기 예측에 대한 벌점이 덜했다.