[논문 리뷰] R2N2: Residual Recurrent Neural Networks for Multivariate Time Series Forecasting

Hardik Goel, Igor Melnyk외 1명|arXiv (Cornell University)|2017. 09. 10.

Stock Market Forecasting Methods참고 문헌 24인용 수 29

한 줄 요약

이 논문은 다변량 시계열 예측의 정확도를 향상시키기 위해 선형 벡터 자기회귀(VAR) 모델과 잔차 잔차 순환신경망(RNN)을 조합한 하이브리드 모델인 R2N2를 제안한다. VAR를 통해 선형적 의존성을 모델링하고 RNN를 통해 비선형 잔차를 처리함으로써, 단독 VAR나 RNN보다 더 높은 예측 정확도, 더 빠른 학습 속도, 더 낮은 모델 복잡도를 달성한다.

ABSTRACT

Multivariate time-series modeling and forecasting is an important problem with numerous applications. Traditional approaches such as VAR (vector auto-regressive) models and more recent approaches such as RNNs (recurrent neural networks) are indispensable tools in modeling time-series data. In many multivariate time series modeling problems, there is usually a significant linear dependency component, for which VARs are suitable, and a nonlinear component, for which RNNs are suitable. Modeling such times series with only VAR or only RNNs can lead to poor predictive performance or complex models with large training times. In this work, we propose a hybrid model called R2N2 (Residual RNN), which first models the time series with a simple linear model (like VAR) and then models its residual errors using RNNs. R2N2s can be trained using existing algorithms for VARs and RNNs. Through an extensive empirical evaluation on two real world datasets (aviation and climate domains), we show that R2N2 is competitive, usually better than VAR or RNN, used alone. We also show that R2N2 is faster to train as compared to an RNN, while requiring less number of hidden units.

연구 동기 및 목표

• 다변량 시계열 예측에서 순수 선형 모델(예: VAR)과 순수 비선형 모델(예: RNN)의 한계를 해결하기 위해.
• VAR 모델의 순서 선택 및 확장성 문제와 RNN의 학습 난이도 및 과적합 위험을 극복하기 위해.
• 선형 기반 모델의 잔차를 RNN로 모델링하여 선형 및 비선형 모델의 강점을 모두 활용하는 프레임워크를 개발하기 위해.
• 잔차 모델링이 RNN의 부담을 줄여 더 단순한 아키텍처와 더 빠른 수렴을 가능하게 함을 보여주기 위해.
• 실제 항공 및 기후 데이터셋을 대상으로 실험하여 기준 모델 대비 일관된 성능 향상을 입증하기 위해.

제안 방법

• 다변량 시계열에 기반 선형 모델(특히 VAR-1)을 사용하여 적합하고 잔차를 계산한다.
• VAR 모델에서 계산된 잔차를 LSTM 기반 RNN에 입력하여 비선형적 의존성과 장기적 패턴을 포착한다.
• VAR 구성 요소는 표준 VAR 추정 알고리즘을 사용하여 학습하고, RNN 구성 요소는 시간에 따른 역전파(backpropagation through time)를 통해 학습한다.
• 최종 예측은 VAR 모델의 예측값과 RNN 모델이 잔차에 적용한 예측값을 합산하여 도출된다.
• 도메인 특성에 따라 칼만 필터, ARCH 등 다른 기반 모델을 모듈러하게 사용할 수 있도록 아키텍처를 설계하였다.
• RNN 구성 요소는 간소화된 입력 공간(잔차)을 처리하므로 모델 복잡도가 감소하고 학습 속도가 향상된다.

실험 결과

연구 질문

• RQ1 선형 모델(VAR)과 비선형 RNN을 잔차에 적용하는 조합이 다변량 시계열 예측 정확도 향상에 기여하는가?
• RQ2 R2N2 아키텍처는 RNN을 처음부터 학습시키는 것보다 학습 시간과 모델 복잡도를 줄이는가?
• RQ3 다양한 실세계 데이터셋에서 R2N2는 단독 VAR 및 RNN 모델 대비 어떤 성능을 보이는가?
• RQ4 VAR를 기반 모델로 사용할 경우 시계열 모델링에서 순서 선택이 얼마나 줄어들 수 있는가?
• RQ5 단일 RNN보다 더 적은 RNN 은닉 유닛 수로 R2N2는 더 높은 성능을 달성할 수 있는가?

주요 결과

• 항공 데이터셋에서 R2N2-128가 VAR 및 단독 RNN보다 가장 뛰어난 성능을 보였다.
• ENSO 기후 데이터셋에서 R2N2-64가 테스트된 모든 아키텍처 중에서 가장 뛰어난 성능을 기록했다.
• 항공 데이터셋에서 단지 32개의 은닉 유닛만을 가진 R2N2도 128개 은닉 유닛을 가진 단독 RNN보다 성능이 뛰어났다.
• R2N2는 단독 RNN보다 훨씬 빠른 학습 속도를 보였으며, VAR 구성 요소가 대부분의 선형적 구조를 처리함에 따라 손실이 급격히 감소하는 경향을 보였다.
• R2N2의 RNN 구성 요소 학습 시간은 잔차 입력의 복잡도가 감소함에 따라 단독 RNN보다 크게 단축되었다.
• 두 데이터셋 모두에서 다수의 무작위 가중치 초기화 설정에서 작은 오차 막대를 보이며 높은 안정성을 나타냈다.