[论文解读] Autoregressive Convolutional Neural Networks for Asynchronous Time Series

Mikołaj Bińkowski, Gautier Marti+1 more|arXiv (Cornell University)|Mar 12, 2017

Stock Market Forecasting Methods被引用 54

一句话总结

引入 Significance-Offset Convolutional Neural Network (SOCNN)，一种基于 CNN 的自回归模型，用于多变量异步时间序列，学习数据相关权重以组合过去观测值，在异步金融与消费数据上优于若干基线方法。

ABSTRACT

We propose Significance-Offset Convolutional Neural Network, a deep convolutional network architecture for regression of multivariate asynchronous time series. The model is inspired by standard autoregressive (AR) models and gating mechanisms used in recurrent neural networks. It involves an AR-like weighting system, where the final predictor is obtained as a weighted sum of adjusted regressors, while the weights are datadependent functions learnt through a convolutional network. The architecture was designed for applications on asynchronous time series and is evaluated on such datasets: a hedge fund proprietary dataset of over 2 million quotes for a credit derivative index, an artificially generated noisy autoregressive series and UCI household electricity consumption dataset. The proposed architecture achieves promising results as compared to convolutional and recurrent neural networks.

研究动机与目标

• 推动对多变量、不规则取样时间序列的预测，尤其是在金融和用电消耗领域。
• 开发一种将自回归思想与基于 CNN 的加权机制相结合的神经网络结构。
• 提供可解释的组件（offset 网络和显著性网络）以处理异步输入。
• 在多样化数据集上，实证比较 SOCNN 与 CNN、ResNet、LSTM 变体以及 VAR 基线方法。
• 评估 SOCNN 的鲁棒性与训练动态，包括辅助损失和 offset 深度。

提出的方法

• 提出 SOCNN，其中 y_hat_n 是通过 F(x_n^-M) 的调整回归量与数据相关权重函数 sigma(S(x_n^-M)) 的加权和。
• 将 F 分解为线性投影加上带 offset 网络 off(x_n-m) 的单点卷积结构。
• 使用具有全卷积层的显著性网络 S 以捕捉局部时间相关性并计算数据相关权重。
• 引入辅助损失 L_aux，促使 offset 预测器逼近实际目标变化，L_tot = L^2 + alpha L_aux 中的 alpha 控制。
• 使用 Adam、批量归一化、 dropout、早停，以及在需要时的梯度裁剪进行训练；并与 CNN、ResNet、LSTM、Phased LSTM 和 VAR 进行比较。

实验结果

研究问题

• RQ1 SOCNN 能否有效地对异步采样的多变量时间序列进行带噪声观测的预测？
• RQ2 卷积网络学习的数据相关显著性权重是否能比标准自回归 CNNs 或 LSTMs 提高预测准确性？
• RQ3 offset 深度和辅助损失对 SOCNN 性能与稳定性的影响是什么？
• RQ4 与强基线相比，SOCNN 在真实世界的异步金融数据、用电消耗数据和合成异步序列上的表现如何？
• RQ5 SOCNN 架构对添加的输入噪声和数据不规则性是否具有鲁棒性？

主要发现

• SOCNN及其变体在异步、用电与报价数据集上优于基准网络。
• 在同步数据上，SOCNN 大致与基准模型相匹配，表明其优势在于异步性和噪声。
• offset 子网络的深度对性能几乎没有负面影响，显著性网络推动性能提升。
• 辅助损失可以稳定训练，在某些数据集上提高测试误差，特别是对于异步数据。
• Phased LSTM 在某些任务中表现良好，但可能不稳定；在异步设置中，SOCNN 常能实现更低方差和更好的泛化。
• SOCNN 对添加的噪声表现出鲁棒性，倾向于更好地利用嘈杂观测而非丢弃。