[논문 리뷰] Time Series Forecasting (TSF) Using Various Deep Learning Models

Jimeng Shi, Mahek Jain외 1명|arXiv (Cornell University)|2022. 04. 23.

Air Quality Monitoring and Forecasting인용 수 36

한 줄 요약

이 논문은 매시간 베이징 대기질 예측을 위해 RNN, LSTM, GRU, Transformer 모델을 비교하고, look-back 창과 예측 horizon이 성능에 어떤 영향을 미치는지 살펴보며, Transformer가 종종 최상의 성능을 보입니다.

ABSTRACT

Time Series Forecasting (TSF) is used to predict the target variables at a future time point based on the learning from previous time points. To keep the problem tractable, learning methods use data from a fixed length window in the past as an explicit input. In this paper, we study how the performance of predictive models change as a function of different look-back window sizes and different amounts of time to predict into the future. We also consider the performance of the recent attention-based Transformer models, which has had good success in the image processing and natural language processing domains. In all, we compare four different deep learning methods (RNN, LSTM, GRU, and Transformer) along with a baseline method. The dataset (hourly) we used is the Beijing Air Quality Dataset from the UCI website, which includes a multivariate time series of many factors measured on an hourly basis for a period of 5 years (2010-14). For each model, we also report on the relationship between the performance and the look-back window sizes and the number of predicted time points into the future. Our experiments suggest that Transformer models have the best performance with the lowest Mean Average Errors (MAE = 14.599, 23.273) and Root Mean Square Errors (RSME = 23.573, 38.131) for most of our single-step and multi-steps predictions. The best size for the look-back window to predict 1 hour into the future appears to be one day, while 2 or 4 days perform the best to predict 3 hours into the future.

연구 동기 및 목표

• 시계열 예측에서 다양한 look-back 창 크기에 따라 예측 정확도가 어떻게 달라지는지 평가합니다.
• 네 가지 심층 학습 모델(RNN, LSTM, GRU, Transformer)이 시간당 대기질 데이터에서 어떤 성능을 내는지 평가합니다.
• 1단계 및 다단계 예측 정확도를 조사합니다.
• 특정 예측 horizon에 대한 최적의 look-back 창 크기를 식별합니다.

제안 방법

• 베이징 대기질 데이터셋(시간별, 2010–2014)에서 네 가지 심층 학습 모델(RNN, LSTM, GRU, Transformer)을 학습하고 평가합니다.
• 예측 오차에 미치는 look-back 창 크기의 영향을 연구하기 위해 창 크기를 다양하게 조정합니다.
• 1단계 및 다단계 예측을 평가하고 MAE와 RMSE를 보고합니다.
• 기초 방법과 딥 러닝 모델을 비교합니다.
• 창 크기, horizon, 모델 성능 간의 관계를 보고합니다.

실험 결과

연구 질문

• RQ1 다른 look-back 창 크기에 따라 예측 정확도가 어떻게 달라집니까?
• RQ2 베이징 대기질 데이터셋에서 시간당 TSF에 대해 어떤 딥 러닝 모델이 최상의 정확도를 제공합니까?
• RQ3 단일 단계와 다단계 예측은 모델 간에 어떻게 비교됩니까?
• RQ4 1시간 및 3시간 예측에 대한 최적의 look-back 창 크기는 무엇입니까?

주요 결과

• Transformer 모델이 테스트된 아키텍처들 중 단일 단계 및 다단계 예측 모두에서 최상의 성능을 달성합니다.
• Transformer는 대부분의 시나리오에서 가장 낮은 MAE와 RMSE를 보이며, 구체적 값은 MAE = 14.599, 23.273 및 RMSE = 23.573, 38.131로 보고됩니다.
• 1시간 ahead 예측의 경우 최적 look-back 창은 약 하루 정도이고, 3시간 ahead 예측의 경우 2–4일이 최적입니다.
• RNN, LSTM, GRU는 일반적으로 보고된 지표에서 Transformer보다 성능이 떨어집니다.
• 연구는 모델 간 look-back 창 크기와 예측 horizon에 따라 성능이 어떻게 달라지는지 분석합니다.