[論文レビュー] Conditional Time Series Forecasting with Convolutional Neural Networks

Anastasia Borovykh, Sander M. Bohté+1 more|arXiv (Cornell University)|Mar 14, 2017

Stock Market Forecasting Methods参考文献 20被引用数 376

ひとこと要約

この論文は WaveNet 風の dilated CNN を条件付き multivariate time series forecasting に適用し、AR や LSTM に対して競争的な精度と効率を示す。特に関連系列を条件に含めると性能が向上する。

ABSTRACT

We present a method for conditional time series forecasting based on an adaptation of the recent deep convolutional WaveNet architecture. The proposed network contains stacks of dilated convolutions that allow it to access a broad range of history when forecasting, a ReLU activation function and conditioning is performed by applying multiple convolutional filters in parallel to separate time series which allows for the fast processing of data and the exploitation of the correlation structure between the multivariate time series. We test and analyze the performance of the convolutional network both unconditionally as well as conditionally for financial time series forecasting using the S&P500, the volatility index, the CBOE interest rate and several exchange rates and extensively compare it to the performance of the well-known autoregressive model and a long-short term memory network. We show that a convolutional network is well-suited for regression-type problems and is able to effectively learn dependencies in and between the series without the need for long historical time series, is a time-efficient and easy to implement alternative to recurrent-type networks and tends to outperform linear and recurrent models.

研究の動機と目的

• 拡張された dilated CNN が限られた履歴で金融時系列を効果的に予測できるかを検討する。
• 複数の関連時系列を条件付けることが予測品質の向上にどの程度寄与するかを評価する。
• 回帰型でノイズのあるデータ設定において、CNNベースの予測を自己回帰モデルとLSTMのベンチマークと比較する。
• 非線形な依存関係および系列間相関を学習するモデルの能力を評価する。

提案手法

• 時系列予測のために、dilated causal convolutionを備えた WaveNet 風の CNN を適用する。
• ReLU活性化とパラメータ化されたスキップ接続を用いて複数の時系列を条件付けする。
• 平均絶対誤差とL2正則化を用いて学習し、Adamで重みを最適化する。
• 予測が過去データのみに依存するよう、因果パディングを組み込む。
• 劣化せずにより深いアーキテクチャを可能にするため、残差接続を適用する。
• 1x1スキップ経路を介して畳み込み条件入力を追加することでネットワークを条件付けする。

実験結果

リサーチクエスチョン

• RQ1 dilated CNN（WaveNetスタイル）は、限られた履歴で金融時系列の長期依存性を学習できるか。
• RQ2 複数の関連時系列を条件付けることは、無条件モデルより予測精度を向上させるか。
• RQ3 CNNベースの予測は、精度と学習効率の点で自己回帰およびLSTMモデルとどのように比較されるか。
• RQ4 提案された条件付け機構によって、どのような非線形な依存関係および系列間の関係を捉えられるか。

主な発見

座標	RMSE 無条件 (uWN)	RMSE 条件付き (cWN)
X	0.00577 (0.00242)	0.00174 (0.00133)
Y	0.00864 (0.00487)	0.00583 (0.00350)
Z	0.00496 (0.00363)	0.00536 (0.00158)

• 無条件 WaveNet（uWN）は、混沌とした時系列に対してベンチマーク LSTM と競合するRMSEを達成する。
• 条件付き WaveNet（cWN）は予測誤差とばらつきを低減し、系列間相関の効果的な活用を示している。
• Lorenz 系の座標 X, Y, Z に対して、条件付けは一般に無条件モデルより RMSE を低下させ、特に X で顕著な改善が見られる。
• 評価済みの設定は、CNN が長い履歴を必要とせず非線形依存性と系列間関係を学習できることを示している。
• 本手法は、ノイズの多い多変量予測に対して、時間効率が高く実装が容易な再帰型アーキテクチャの代替を提供する。