[论文解读] Autoregressive Convolutional Recurrent Neural Network for Univariate and Multivariate Time Series Prediction

Matteo Maggiolo, Gerasimos Spanakis|arXiv (Cornell University)|Mar 6, 2019

Time Series Analysis and Forecasting参考文献 6被引用 11

一句话总结

本文提出一种混合自回归卷积循环神经网络（ACRNN），结合多尺度卷积特征提取、基于GRU的序列编码以及线性自回归捷径，以提升单变量和多变量时间序列预测性能。该模型显著优于基线模型——尤其在多变量设置中——通过有效捕捉高频（通过CNN）和长期低频（通过RNN）模式，同时利用可学习的线性捷径缓解尺度敏感性，在部分数据集上预测准确率提升超过50%。

ABSTRACT

Time Series forecasting (univariate and multivariate) is a problem of high complexity due the different patterns that have to be detected in the input, ranging from high to low frequencies ones. In this paper we propose a new model for timeseries prediction that utilizes convolutional layers for feature extraction, a recurrent encoder and a linear autoregressive component. We motivate the model and we test and compare it against a baseline of widely used existing architectures for univariate and multivariate timeseries. The proposed model appears to outperform the baselines in almost every case of the multivariate timeseries datasets, in some cases even with 50% improvement which shows the strengths of such a hybrid architecture in complex timeseries.

研究动机与目标

• 解决在单变量和多变量时间序列预测中建模多样化时间模式（包括高频与低频）的挑战。
• 通过整合多尺度卷积特征提取、循环编码与线性自回归捷径，改进现有深度学习架构。
• 通过可学习的线性捷径组件，降低非线性模型中输入尺度变化带来的敏感性问题。
• 通过实证验证该混合架构在多样化时间序列数据集上的有效性，尤其在多变量设置中性能提升最为显著。

提出的方法

• 将输入时间序列按2和4的因子进行下采样，生成三个多分辨率输入，以捕捉更广泛的时间频率范围。
• 对每个下采样后的序列独立应用两层因果卷积层（ReLU激活），以提取分层特征。
• GRU单元处理来自每个分辨率的提取特征，将序列编码为固定维数的隐藏状态。
• 通过拼接所有三个GRU流的最后隐藏状态，经线性变换计算最终预测结果。
• 引入线性自回归捷径，利用最后5个输入时间步预测输出，提升对尺度变化的鲁棒性，并增强长程预测性能。
• 最终预测结果为非线性（ACRNN）与线性（自回归）组件之和，结合全局趋势建模与非线性模式学习。

实验结果

研究问题

• RQ1 结合卷积特征提取、循环编码与线性自回归捷径的混合架构，是否能在多变量时间序列预测中超越标准RNN与基于CNN的模型？
• RQ2 多尺度下采样与卷积处理如何提升模型捕捉不同频率下多样化时间模式的能力？
• RQ3 线性自回归捷径在多大程度上缓解了非线性模型的尺度敏感性，并提升了长程预测的稳定性？
• RQ4 与SOTA模型如LSTNet和简单LSTM相比，所提出的ACRNN在多个数据集上的预测准确率与鲁棒性表现如何？
• RQ5 各组件（CNN、RNN、自回归捷径）对整体性能的贡献如何，尤其在单变量与多变量设置中的差异？

主要发现

• 在SML2010多变量数据集上，ACRNN在多步预测中相比LSTM基线模型，预测损失（以动态时间规整DTW衡量）提升超过50%。
• 在多变量预测中，ACRNN始终优于所有基线模型，包括LSTNet，在所有预测时域内均表现出显著更低的DTW损失。
• 在单变量数据集上，尽管简单LSTM表现最佳，ACRNN仍具竞争力，损失处于极小范围内，表明其具备强大的泛化能力。
• 消融实验确认线性自回归捷径至关重要：若无该组件，振荡与趋势的预测误差会随时间迅速累积。
• 该模型在长程预测中表现出卓越的稳定性，尤其在多变量设置中，LSTNet随预测时域延长而出现不稳定与损失上升。
• 滑动窗口预测的可视化显示，带有自回归捷径的模型能准确追踪周期性与趋势斜率，而无该组件的版本则无法保持这些模式。