[논문 리뷰] Recurrent Neural Networks for Time Series Forecasting

Gábor Petneházi|arXiv (Cornell University)|2019. 01. 01.

Time Series Analysis and Forecasting참고 문헌 40인용 수 76

한 줄 요약

본 논문은 특징 공학, 특징 중요도, 점 예측 및 구간 예측에 초점을 맞춘 시계열 예측을 위한 엔드-투-엔드 RNN 기반 프레임워크를 제안하고, 부트스트래핑된 예측 구간과 함께 LSTM과 GRU 모델의 경험적 비교를 수행한다.

ABSTRACT

Time series forecasting is difficult. It is difficult even for recurrent neural networks with their inherent ability to learn sequentiality. This article presents a recurrent neural network based time series forecasting framework covering feature engineering, feature importances, point and interval predictions, and forecast evaluation. The description of the method is followed by an empirical study using both LSTM and GRU networks.

연구 동기 및 목표

• RNN(순환 신경망)을 사용하여 시계열 예측을 위한 엔드투엔드 프레임워크를 제공한다.
• 특징 공학과 특징 중요도가 RNN 예측 개선에 어떻게 기여하는지 설명한다.
• 부트스트래핑과 앙상블 아이디어를 사용하여 시계열의 점 예측과 예측 구간을 개발한다.
• 실제 데이터셋에서 LSTM과 GRU 아키텍처를 경험적으로 비교하고 성능과 불확실성을 분석한다.

제안 방법

• 지연(lag), 추세, 계절성, 더미 지시변수 등을 포함한 특징 공학과 정규화를 통합한 RNN 기반 예측 프레임워크를 설명한다.
• RNN에 대해 입력의 관련성을 평가하기 위해 순열 기반 특징 중요도(평균 정확도 감소)를 사용한다.
• 원샷(one-step) 예측과 반복적 다중단계 예측을 지원하고, 부트스트랩 앙상블을 통해 예측 구간을 얻는다.
• 부트스트래핑으로 예측 구간을 구성하기 위해 부트스트랩 모델을 학습하고 예측값을 평균하며, 잔차 분산은 보조 네트워크로 추정한다.
• 회귀 및 방향성 정확도 지표와 구간 평가 지표(PICP, MPIW, NMPIW, CWC)를 사용하여 검증한다.
• Bike Sharing 데이터셋에서 MSE 손실과 Adam 옵티마이저로 학습된 32개 유닛의 단일 층 LSTM과 GRU 모델을 비교한다.

실험 결과

연구 질문

• RQ1 엔드투엔드 RNN 예측 프레임워크가 시계열 데이터의 정확도를 향상시킬 수 있는가?
• RQ2 어떤 입력 특징(지연, 계절성, 추세, 휴일)이 RNN 예측에 가장 강하게 영향을 미치는가?
• RQ3 원샷 및 다중 단계 시계열 예측 작업에서 LSTM과 GRU는 어떻게 비교되는가?
• RQ4 부트스트랩 앙상블이 신경망 예측에 신뢰할 수 있는 예측 구간을 제공할 수 있는가?
• RQ5 특징 중요도가 시계열의 직관적 요인과 일치하는가?

주요 결과

• 연구 대상 데이터셋에서 LSTM과 GRU 모델은 유사한 예측 성능을 보인다.
• 최근 지연 특징과 시간내 계절성(하루의 시간, 휴일/근무시간)이 가장 중요한 예측 변수 중 하나이다.
• 원샷 예측이 다중단계 예측보다 더 높은 정확도(R^2 약 0.95; RMSE 약 31-33)를 달성한다.)
• 부트스트랩 배깅은 개별 모델보다 예측 정확도를 향상시키고 더 넓지만 잘 보정된 예측 구간을 제공한다(일반적으로 명목 90% 커버리지를 초과하는 경우가 많다).
• 부트스트래핑으로 구성된 예측 구간은 명목 타깃보다 높은 커버리지를 보여주고, 구간 폭은 다중단계 예측에서 불확실성이 커짐을 시사한다.