[论文解读] Correlated Time Series Forecasting using Deep Neural Networks: A Summary of Results

Razvan-Gabriel Cirstea, Darius-Valer Micu+3 more|arXiv (Cornell University)|Aug 29, 2018

Time Series Analysis and Forecasting参考文献 12被引用 17

一句话总结

该论文提出两种深度学习模型——卷积循环神经网络（CRNN）和自编码器卷积循环神经网络（AECRNN），通过结合一维卷积神经网络（1D CNN）进行特征提取以及循环神经网络（RNN）进行序列建模，实现对相关时间序列的预测。AECRNN通过在自编码器中引入多任务学习提升鲁棒性，在真实世界的污水和谷歌趋势数据上表现优于基线模型，尤其在长时序预测和噪声环境下表现更优。

ABSTRACT

Cyber-physical systems often consist of entities that interact with each other over time. Meanwhile, as part of the continued digitization of industrial processes, various sensor technologies are deployed that enable us to record time-varying attributes (a.k.a., time series) of such entities, thus producing correlated time series. To enable accurate forecasting on such correlated time series, this paper proposes two models that combine convolutional neural networks (CNNs) and recurrent neural networks (RNNs). The first model employs a CNN on each individual time series, combines the convoluted features, and then applies an RNN on top of the convoluted features in the end to enable forecasting. The second model adds additional auto-encoders into the individual CNNs, making the second model a multi-task learning model, which provides accurate and robust forecasting. Experiments on two real-world correlated time series data set suggest that the proposed two models are effective and outperform baselines in most settings. This report extends the paper "Correlated Time Series Forecasting using Multi-Task Deep Neural Networks," to appear in ACM CIKM 2018, by providing additional experimental results.

研究动机与目标

• 解决工业网络物理系统中传感器生成的相互依赖、相关时间序列的精确预测挑战。
• 克服传统线性模型（如ARIMA）和标准RNN在处理多时间序列间复杂非线性相关性方面的局限性。
• 通过在深度学习架构中引入自编码器实现多任务学习，提升模型鲁棒性和泛化能力。
• 通过预测趋势、异常和事件影响，实现对工业网络物理系统（如污水处理和交通系统）的全面系统监控。

提出的方法

• 对每个独立时间序列分别应用一维卷积神经网络（CNN），以提取分层的非线性特征。
• 将所有时间序列的池化特征拼接后输入循环神经网络（RNN），以建模时间依赖性和跨序列相关性。
• 在AECRNN的CNN分支中引入自编码器，用于重建原始时间序列，实现多任务学习，从而正则化特征学习过程。
• 通过联合优化包含RNN预测误差和自编码器重建误差的损失函数，提升泛化能力并减少过拟合。
• 采用双分支架构：RNN负责预测未来值，自编码器确保学习到的特征具有代表性且抗噪声。
• 针对每个数据集，调整超参数（如滤波器数量：AECRNN为2，CRNN为3；序列长度l=50）以实现最优性能。

实验结果

研究问题

• RQ1 结合CNN与RNN的混合深度学习模型能否有效预测真实工业系统中多个相关时间序列？
• RQ2 在CNN-RNN框架中集成自编码器是否能提升预测鲁棒性，特别是在处理噪声或非相关输入时？
• RQ3 所提出的模型（CRNN和AECRNN）在不同序列长度和预测时长下，与经典方法（ARIMA、RNN、LSTM）及基线深度学习模型相比，准确率如何？
• RQ4 模型在多大程度上受益于相关时间序列？当引入非相关或合成时间序列时，其性能如何？
• RQ5 模型能否在不同领域（如环境监测（污水）和网络行为（谷歌趋势））间实现良好泛化，且仅需极少重新配置？

主要发现

• 在污水处理厂数据集上，AECRNN在RMSE和MAPE指标上均优于CRNN和所有基线模型，尤其在远期预测（p=25）和较长输入序列（l=50）时表现更优。
• 在谷歌趋势数据集上，AECRNN在p=25时RMSE最低，但在p=50时性能略有下降，此时CRNN和LSTM表现相近。
• 在单个时间序列预测中，RNN表现最佳；但当使用多个相关时间序列作为输入时，CRNN和AECRNN显著提升预测准确率。
• AECRNN中引入自编码器增强了鲁棒性：即使加入非相关时间序列，其误差仍保持较低（MAPE=10.7），而CRNN性能显著下降（MAPE=13.0）。
• 在短序列（l=10）时，LSTM准确率最高；但随着序列长度增加，CRNN和AECRNN超越LSTM，表明其在长上下文场景下具备更好的可扩展性。
• 可视化分析显示，由于自编码器正则化，AECRNN能更好地捕捉脉冲信号的幅度，而CRNN可能更擅长保留细微失真，体现出幅度准确度与细节保真度之间的权衡。