[논문 리뷰] Conditional Time Series Forecasting with Convolutional Neural Networks

Anastasia Borovykh, Sander M. Bohté외 1명|arXiv (Cornell University)|2017. 03. 14.

Stock Market Forecasting Methods참고 문헌 20인용 수 376

한 줄 요약

본 논문은 WaveNet 스타일의 dilation CNN을 조건부 다변 시계열 예측에 적응시켜 AR 및 LSTM 대비 경쟁력 있는 정확도와 효율성을 보여주며, 특히 관련 시계열을 조건으로 사용할 때 더 우수하다.

ABSTRACT

We present a method for conditional time series forecasting based on an adaptation of the recent deep convolutional WaveNet architecture. The proposed network contains stacks of dilated convolutions that allow it to access a broad range of history when forecasting, a ReLU activation function and conditioning is performed by applying multiple convolutional filters in parallel to separate time series which allows for the fast processing of data and the exploitation of the correlation structure between the multivariate time series. We test and analyze the performance of the convolutional network both unconditionally as well as conditionally for financial time series forecasting using the S&P500, the volatility index, the CBOE interest rate and several exchange rates and extensively compare it to the performance of the well-known autoregressive model and a long-short term memory network. We show that a convolutional network is well-suited for regression-type problems and is able to effectively learn dependencies in and between the series without the need for long historical time series, is a time-efficient and easy to implement alternative to recurrent-type networks and tends to outperform linear and recurrent models.

연구 동기 및 목표

• 확장된 CNN이 제한된 이력으로 금융 시계열을 효과적으로 예측할 수 있는지 조사한다.
• 여러 관련 시계열을 조건으로 삼는 것이 예측 품질 향상에 어떤 이점을 가져오는지 평가한다.
• 회귀형의 노이즈가 있는 데이터 환경에서 CNN 기반 예측을 자기회귀 및 LSTM 벤치마크와 비교한다.
• 모델이 비선형 의존성과 시계열 간 상관관계를 학습하는 능력을 평가한다.

제안 방법

• 시계열 예측을 위해 dilated causal convolution을 갖춘 WaveNet-스타일 CNN을 적응시킨다.
• 다수의 시계열을 조건으로 삼기 위한 ReLU 활성화와 매개변수화된 스킵 연결을 사용한다.
• 평균 절대 오차와 L2 정규화를 사용하여 학습하고, Adam으로 가중치를 최적화한다.
• 미래 데이터에 의존하지 않도록 인과 패딩을 도입한다.
• 깊은 아키텍처에서도 성능 저하 없이 학습을 가능하게 하려면 잔여 연결(residual connections)을 적용한다.
• 1x1 스킵 경로를 통한 합성(condtioned) 입력을 추가하여 네트워크를 조건화한다.

실험 결과

연구 질문

• RQ1 확장된 CNN(WaveNet 스타일)이 제한된 이력으로 금융 시계열에서 장기 의존성을 학습할 수 있는가?
• RQ2 여러 관련 시계열을 조건으로 삼는 것이 무조건 모델보다 예측 정확도를 향상시키는가?
• RQ3 정확도와 학습 효율성 측면에서 CNN 기반 예측은 AR 및 LSTM 모델과 어떻게 비교되는가?
• RQ4 제안된 조건화 메커니즘으로 어떤 비선형 의존성 및 시계열 간 교차관계가 포착될 수 있는가?

주요 결과

• 무조건적 WaveNet(uWN)은 혼란한 시계열에서 벤치마크 LSTM과 비교해 경쟁력 있는 RMSE를 달성한다.
• 조건화된 WaveNet(cWN)은 예측 오차와 변동성을 감소시켜 시계열 간 상관관계의 효과적 활용을 시사한다.
• Lorenz 시스템 좌표 X, Y, Z에 대해 조건화는 일반적으로 무조건 모델에 비해 RMSE를 낮추며, X에서 특히 큰 개선을 보인다.
• 평가된 설정은 CNN이 긴 이력이 없어도 비선형 의존성과 시계열 간 관계를 학습할 수 있음을 보여준다.
• 이 접근법은 소음이 많고 다변량인 예측에 대해 순환 아키텍처에 대한 시간 효율적이고 구현이 쉬운 대안을 제공한다.