[논문 리뷰] Do We Really Need Deep Learning Models for Time Series Forecasting?

Shereen H. Elsayed, Daniela Thyssens외 3명|arXiv (Cornell University)|2021. 01. 06.

Traffic Prediction and Management Techniques참고 문헌 23인용 수 14

한 줄 요약

이 논문은 시간 시리즈 데이터에서 복잡한 딥러닝 모델이 필요로 하지 않는다는 것을 보여주며, 적절히 특징 공학을 적용한 기울기 부스팅 회귀 트리(GBRT) 모델이 창문 기반의 회귀 프레임워크에 변환되어도 여러 최첨단 딥러닝 모델들을 능가함을 입증한다. 핵심 기여는 간단한 모델이 맥락 인식 입력 공학을 통해 적절히 구성될 경우, 경쟁력 있는 예측 성능을 달성할 수 있음을 보여주는 것이다.

ABSTRACT

Time series forecasting is a crucial task in machine learning, as it has a wide range of applications including but not limited to forecasting electricity consumption, traffic, and air quality. Traditional forecasting models rely on rolling averages, vector auto-regression and auto-regressive integrated moving averages. On the other hand, deep learning and matrix factorization models have been recently proposed to tackle the same problem with more competitive performance. However, one major drawback of such models is that they tend to be overly complex in comparison to traditional techniques. In this paper, we report the results of prominent deep learning models with respect to a well-known machine learning baseline, a Gradient Boosting Regression Tree (GBRT) model. Similar to the deep neural network (DNN) models, we transform the time series forecasting task into a window-based regression problem. Furthermore, we feature-engineered the input and output structure of the GBRT model, such that, for each training window, the target values are concatenated with external features, and then flattened to form one input instance for a multi-output GBRT model. We conducted a comparative study on nine datasets for eight state-of-the-art deep-learning models that were presented at top-level conferences in the last years. The results demonstrate that the window-based input transformation boosts the performance of a simple GBRT model to levels that outperform all state-of-the-art DNN models evaluated in this paper.

연구 동기 및 목표

• 기계 학습 모델인 GBRT와 같은 전통적 모델이 딥러닝에 의존하지 않고도 시간 시리즈 예측에서 경쟁적인 성능을 낼 수 있는지 조사하기 위해.
• 창문 기반 입력 변환과 특징 공학이 GBRT의 시간 시리즈 예측 성능에 미치는 영향을 평가하기 위해.
• 다양한 시간 시리즈 데이터셋에서 잘 구성된 GBRT 기준선을 최첨단 딥러닝 모델들과 비교하기 위해.
• 딥러닝이 고정밀도 시간 시리즈 예측을 위해 필수적이라는 일반적인 가정을 도전하기 위해.
• 시간 시리즈 연구에서 적절한 모델 구성과 기준선 선택의 중요성을 부각하기 위해.

제안 방법

• 시간 시리즈 데이터에 고정 크기의 창문을 슬라이딩하여 시간 시리즈 예측 문제를 창문 기반의 회귀 문제로 변환하였다.
• 과거 창문 내의 타겟 값과 외부 공변량을 연결하여 입력을 특징 공학 처리한 후, 다중 출력 GBRT용 단일 입력 벡터로 평탄화하였다.
• 각 입력 창문에서 다중 출력 GBRT 모델을 사용하여 동시에 여러 미래 시간 단계를 예측하였다.
• 단변량 및 다변량 예측 작업 모두에 동일한 창문화 및 특징 공학 접근법을 적용하였다.
• 전기, 교통, 대기 질 데이터를 포함한 아홉 가지 다양한 데이터셋에서 표준 평가 지표(RMSE, MAE)를 사용해 모델 성능을 평가하였다.
• 모든 창문 인스턴스의 공변량을 포함하는 것과 마지막 시간 단계의 공변량만 포함하는 것의 영향을 평가하기 위해 분석 실험(Ablation study)을 수행하였다.

실험 결과

연구 질문

• RQ1 창문 기반 입력 및 출력 구조로 구성된 GBRT의 성능에 미치는 영향는 어떠한가?
• RQ2 적절히 구성된 GBRT 모델이 시간 시리즈 예측에서 최첨단 딥러닝 모델을 능가할 수 있는가?
• RQ3 모든 과거 시간 단계의 공변량을 창문에 포함시키는 것과 마지막 시간 단계의 공변량만 포함시키는 것의 영향은 어떠한가?
• RQ4 GBRT의 성능는 단변량 및 다변량 예측 작업 모두에서 DNN과 비교하여 어떠한가?
• RQ5 기본적인 또는 전통적으로 구성된 GBRT 모델이 적절히 공학된 기준선에 비해 성능이 열등한 이유는 무엇인가?

주요 결과

• 평가한 아홉 개의 데이터셋에서 창문 기반 특징 공학을 적용한 GBRT 모델이 LSTNet 및 DAQFF와 같은 여덟 개의 최첨단 딥러닝 모델을 모두 능가하였다.
• 베이징 PM2.5 데이터셋에서 GBRT 모델은 RMSE 42.37과 MAE 25.87을 기록하여 DAQFF( RMSE: 43.49, MAE: 27.53)를 능가하였다.
• 도시 대기 질 데이터셋에서 GBRT는 RMSE 40.55와 MAE 22.34를 기록하여 DAQFF(RMSE: 46.49, MAE: 25.01)를 능가하였다.
• 분석 실험 결과, 창문 내 모든 인스턴스의 공변량을 사용하는 것과 마지막 시간 단계의 공변량만 사용하는 것이 거의 동일한 성능를 보였으며, 이는 계산 비용을 크게 감소시켰다.
• 적절한 입력 공학을 적용한 GBRT 모델은 기본 GBRT 및 ARIMA 기준선보다 뛰어난 성능를 보였으며, 이는 입력 구성의 중요성이 모델 성능에 결정적인 역할을 한다는 것을 시사한다.
• 공기 질 예측을 위해 특화된 DNN인 DAQFF조차도 공학된 GBRT에 의해 능가되었으며, 이는 모델의 복잡성이 반드시 더 좋은 결과를 보장하지는 않는다는 것을 시사한다.