[논문 리뷰] Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence Case

Neo Wu, Bradley Green외 2명|arXiv (Cornell University)|2020. 01. 23.

Anomaly Detection Techniques and Applications참고 문헌 21인용 수 349

한 줄 요약

이 논문은 시간 시계열 예측을 위한 Transformer 기반 접근법을 소개하고, 독감 유사 질환(ILI) 데이터에 대해 평가하며, ARIMA, LSTM, Seq2Seq 모델과 비교하여 경쟁력 있거나 우수한 성능을 보임을 제시한다.

ABSTRACT

In this paper, we present a new approach to time series forecasting. Time series data are prevalent in many scientific and engineering disciplines. Time series forecasting is a crucial task in modeling time series data, and is an important area of machine learning. In this work we developed a novel method that employs Transformer-based machine learning models to forecast time series data. This approach works by leveraging self-attention mechanisms to learn complex patterns and dynamics from time series data. Moreover, it is a generic framework and can be applied to univariate and multivariate time series data, as well as time series embeddings. Using influenza-like illness (ILI) forecasting as a case study, we show that the forecasting results produced by our approach are favorably comparable to the state-of-the-art.

연구 동기 및 목표

• 건강 모니터링 및 질병 감시에서 시계열 예측의 중요성을 동기부여한다.
• 단변량 및 다변량 시계열 예측을 위한 일반적인 Transformer 기반 프레임워크를 제안한다.
• Transformer가 임의의 데이터와 위상공간 동역학을 임베딩을 통해 모델화할 수 있음을 보여준다.
• ILI 예측에서 ARIMA, LSTM, Seq2Seq와의 벤치마킹을 통해 성능을 확립한다.

제안 방법

• Encoder와 decoder를 가진 Transformer 아키텍처를 사용하여 다단계 예측(Ill ratios)을 예측한다.
• Dense 레이어를 거친 입력 매핑에 위치 인코딩과 네 개의 인코더/디코더 층을 적용한다.
• Look-ahead 마스킹과 커스텀 학습률 스케줄로 10단계 입력 창에서 4단계 예측을 학습한다.
• Pearson 상관계수와 RMSE를 사용해 평가하며, ARIMA, LSTM, Seq2Seq 기준선과 비교한다.
• 위상공간 정보를 포착하기 위해 시간 지연 임베딩(TDE)을 실험하고 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 모델이 CDC 공식 데이터에서 최첨단 ILI 예측 방법과 맞먹거나 능가할 수 있는가?
• RQ2 주차 번호, 증가/차이 등 다변수 특징을 포함하면 Transformer 예측이 ILI에 대해 향상되는가?
• RQ3 데이터의 위상공간 구조를 포착하기 위해 시간 지연 임베딩이 Transformer 성능을 향상시킬 수 있는가?
• RQ4 1단계 앞선 ILI 예측에서 주의(attention)가 적용된 Transformer와 ARIMA, LSTM, Seq2Seq의 비교는 어떻게 되는가?
• RQ5 전국 단위의 ILI 예측을 위해 단일 글로벌 Transformer 모델이 미국 주(state) 간 일반화가 가능한가?

주요 결과

• Transformer 기반 예측은 1단계 앞의 ILI 예측에서 높은 상관관계(예: 미국 수준 0.984)와 낮은 RMSE(0.3318)를 달성한다.
• Transformer는 일반적으로 상관관계 및 RMSE에서 ARIMA를 능가하고, RMSE에서 LSTM 및 Seq2Seq+attention을 능가한다.
• 주차 번호 및 차이 특징을 포함하면 약간의 개선이 나타나며, 자체 주의(self-attention)가 추가 특징 없이 의존성을 포착한다는 것을 시사한다.
• 최적 차원수(실험에서 8)인 시간 지연 임베딩(TDE)은 스칼라 입력에 비해 비슷하거나 약간 개선된 성능을 제공한다.
• ARGONet과 비교했을 때 주별 평균에서 Transformer가 유사하거나 약간 더 나은 상관관계와 RMSE를 달성한다.
• 상태 데이터를 연결해 학습한 단일 글로벌 Transformer 모델은 국가 수준 예측으로 일반화할 수 있다.