[论文解读] Conditional Time Series Forecasting with Convolutional Neural Networks

Anastasia Borovykh, Sander M. Bohté+1 more|arXiv (Cornell University)|Mar 14, 2017

Stock Market Forecasting Methods参考文献 20被引用 376

一句话总结

本文将 WaveNet 风格的膨胀卷积神经网络用于条件化的多变量时间序列预测，与 AR 和 LSTM 相比在准确性和效率上具有竞争力，特别是在对相关序列进行条件化时。

ABSTRACT

We present a method for conditional time series forecasting based on an adaptation of the recent deep convolutional WaveNet architecture. The proposed network contains stacks of dilated convolutions that allow it to access a broad range of history when forecasting, a ReLU activation function and conditioning is performed by applying multiple convolutional filters in parallel to separate time series which allows for the fast processing of data and the exploitation of the correlation structure between the multivariate time series. We test and analyze the performance of the convolutional network both unconditionally as well as conditionally for financial time series forecasting using the S&P500, the volatility index, the CBOE interest rate and several exchange rates and extensively compare it to the performance of the well-known autoregressive model and a long-short term memory network. We show that a convolutional network is well-suited for regression-type problems and is able to effectively learn dependencies in and between the series without the need for long historical time series, is a time-efficient and easy to implement alternative to recurrent-type networks and tends to outperform linear and recurrent models.

研究动机与目标

• 研究 dilated CNN 是否能在历史数据有限的情况下有效预测金融时间序列。
• 评估对多个相关时间序列进行条件化是否可提升预测质量。
• 将基于 CNN 的预测与自回归和 LSTM 基准在回归型、嘈杂数据环境下进行比较。
• 评估模型学习非线性依赖关系和序列间相关性的能力。

提出的方法

• 将 WaveNet 风格的 CNN 与带膨胀因果卷积的时间序列预测改编。
• 使用 ReLU 激活和带参数化跳连以对多个时间序列进行条件化。
• 以平均绝对误差和 L2 正则化进行训练；使用 Adam 优化权重。
• 引入因果填充以确保预测仅依赖历史数据。
• 应用残差连接以在不退化的情况下实现更深的结构。
• 通过 1x1 跳跃通道添加卷积条件输入来对网络进行条件化。

实验结果

研究问题

• RQ1 一个膨胀 CNN（WaveNet 风格）是否能够在历史数据有限的情况下学习金融时间序列中的长程依赖？
• RQ2 对多个相关时间序列进行条件化是否比无条件模型提升预测准确性？
• RQ3 在准确性和训练效率方面，基于 CNN 的预测与自回归和 LSTM 模型相比如何？
• RQ4 proposed 的条件化机制能捕捉到哪些非线性依赖关系和跨序列关系？

主要发现

• 无条件 WaveNet (uWN) 在混沌时间序列上与基准 LSTM 的 RMSE 相近；
• 有条件 WaveNet (cWN) 降低预测误差和波动，表明有效利用了跨序列相关性；
• 对于 Lorenz 系统的坐标 X、Y、Z，条件化通常相对于无条件模型降低 RMSE，且 X 有显著改进；
• 所评估的设置表明 CNN 能在不需要非常长历史的情况下学习非线性依赖和跨序列关系；
• 该方法为嘈杂的多变量预测提供了一种时间高效且易于实现的替代 recurrent 架构的方案。