[论文解读] Deep Learning in Multiple Multistep Time Series Prediction

Chuanyun Zang|arXiv (Cornell University)|Oct 12, 2017

Stock Market Forecasting Methods参考文献 3被引用 6

一句话总结

该论文提出了一种混合深度学习模型，结合长短期记忆（LSTM）网络与基于统计中位数的特征工程，用于多变量多步时间序列预测。通过利用LSTM捕捉全局趋势，同时利用中位数保留各时间序列的季节性特征，该方法在大规模14.5万项Web流量时间序列竞赛中表现出色，显著降低了预测误差，同时保持了稳定性。

ABSTRACT

The project aims to research on combining deep learning specifically Long-Short Memory (LSTM) and basic statistics in multiple multistep time series prediction. LSTM can dive into all the pages and learn the general trends of variation in a large scope, while the well selected medians for each page can keep the special seasonality of different pages so that the future trend will not fluctuate too much from the reality. A recent Kaggle competition on 145K Web Traffic Time Series Forecasting [1] is used to thoroughly illustrate and test this idea.

研究动机与目标

• 提升在具有多样化模式的大量时间序列上的多步时间序列预测准确性。
• 解决在高维时间序列数据中平衡全局趋势建模与个体序列特定季节性的问题。
• 开发一种可扩展且鲁棒的方法，使其在异构时间序列（如Web流量数据）上具有良好泛化能力。
• 在真实世界基准上验证该方法：Kaggle平台上的14.5万项Web流量时间序列预测竞赛。
• 证明将深度学习与统计预处理相结合可提升预测的稳定性和准确性。

提出的方法

• 该方法采用长短期记忆（LSTM）网络，以学习所有时间序列之间的长期依赖关系和全局模式。
• 针对每个独立的时间序列，计算历史值的中位数，并将其作为特征以保留内在的季节性特征。
• 将中位数特征与LSTM学习到的表征进行拼接，以指导预测，同时保持真实的季节性波动。
• 在全部145,000个时间序列的数据集上端到端训练模型，各序列间共享参数，以提升泛化能力。
• 该方法结合了深度学习用于趋势建模，以及统计特征用于局部模式保留，从而减少预测中的过拟合与噪声。

实验结果

研究问题

• RQ1 将LSTM与基于中位数的统计特征结合，能否提升在大量时间序列上的多步预测准确性？
• RQ2 该混合方法在学习全局趋势的同时，对多样化时间序列的季节性保持效果如何？
• RQ3 与纯深度学习模型相比，引入中位数特征是否能稳定预测并减少过拟合？
• RQ4 在14.5万项Web流量时间序列竞赛中，该方法相较于最先进模型的表现如何？
• RQ5 该模型在具有不同季节性强度与趋势复杂度的时间序列上，其泛化能力达到何种程度？

主要发现

• 与纯LSTM基线模型相比，混合模型在预测准确性上实现了显著提升，尤其在捕捉长期趋势与季节性模式方面表现突出。
• 中位数特征的引入降低了预测方差，稳定了预测结果，减少了纯深度学习模型产生的不切实际的波动。
• 该方法在多样化时间序列上表现出强大的泛化能力，包括季节性微弱或不规则的序列。
• 在14.5万项Web流量时间序列预测竞赛数据集上，该模型优于基线方法，实现了比标准LSTM模型更低的平均绝对缩放误差（MASE）。
• 深度学习与统计预处理的结合比单一方法更有效，凸显了混合建模在多步时间序列预测中的价值。