[论文解读] Forecasting Across Time Series Databases using Recurrent Neural Networks on Groups of Similar Series: A Clustering Approach

Kasun Bandara, Christoph Bergmeir+1 more|arXiv (Cornell University)|Oct 9, 2017

Stock Market Forecasting Methods被引用 4

一句话总结

本文提出了一种基于聚类的框架，通过在相似时间序列组上训练长短期记忆（LSTM）网络，提升大规模时间序列数据库中的预测准确性。通过聚类相似序列并在每个子组上训练LSTM，该方法优于全局LSTM模型和传统单变量方法，在CIF2016竞赛数据集上达到最先进水平，并在NN5数据集上持续优于基线LSTM模型。

ABSTRACT

With the advent of Big Data, nowadays in many applications databases containing large quantities of similar time series are available. Forecasting time series in these domains with traditional univariate forecasting procedures leaves great potentials for producing accurate forecasts untapped. Recurrent neural networks (RNNs), and in particular Long Short-Term Memory (LSTM) networks, have proven recently that they are able to outperform state-of-the-art univariate time series forecasting methods in this context when trained across all available time series. However, if the time series database is heterogeneous, accuracy may degenerate, so that on the way towards fully automatic forecasting methods in this space, a notion of similarity between the time series needs to be built into the methods. To this end, we present a prediction model that can be used with different types of RNN models on subgroups of similar time series, which are identified by time series clustering techniques. We assess our proposed methodology using LSTM networks, a widely popular RNN variant. Our method achieves competitive results on benchmarking datasets under competition evaluation procedures. In particular, in terms of mean sMAPE accuracy, it consistently outperforms the baseline LSTM model and outperforms all other methods on the CIF2016 forecasting competition dataset.

研究动机与目标

• 解决将全局LSTM模型应用于异质时间序列数据库时预测准确性下降的问题。
• 通过将相似时间序列分组为聚类，利用序列间的相似性，实现更准确的子组特定预测。
• 开发一种可扩展的、自动化的框架，将聚类与循环神经网络结合，以提升大数据时间序列应用中的预测性能。
• 在标准化竞赛评估协议下的基准数据集上评估该方法，以验证性能提升。

提出的方法

• 使用无监督聚类技术对时间序列进行聚类，基于形状、趋势和季节性识别相似序列组。
• 为每个聚类单独训练一个LSTM模型，使模型能够学习相似序列的特定模式，同时受益于组内共享信息。
• 该方法采用两阶段训练流程：首先对时间序列进行聚类，然后在每个聚类的数据上训练独立的LSTM。
• 通过固定起点和滚动起点的预测设置评估该方法，以确保在不同评估协议下的鲁棒性。
• 使用LSTM变体对框架进行测试，包括全局LSTM（LSTM.All）和基于聚类的LSTM（LSTM.Cluster），以比较性能。

实验结果

研究问题

• RQ1 在大规模数据库中使用循环神经网络时，对相似时间序列进行聚类是否能提升预测准确性？
• RQ2 基于聚类的LSTM模型与在所有序列上训练的全局LSTM模型相比，性能如何？
• RQ3 所提出的方法在包含多样化时间序列的基准数据集上是否优于最先进单变量预测方法？
• RQ4 与基线模型相比，子组建模带来的改进是否具有统计显著性？

主要发现

• 在CIF2016预测竞赛数据集上，LSTM.Cluster模型在平均sMAPE指标上优于所有其他方法，获得最佳排名。
• 在NN5数据集上，LSTM.Cluster模型在平均sMAPE指标上排名第6，所有误差指标上均持续优于全局LSTM_All基线模型。
• 配对Wilcoxon符号秩检验显示，LSTM.Cluster与LSTM_All之间的差异具有高度显著性（p = 7.22 × 10⁻⁴），证实了聚类的益处。
• 使用对齐Friedman检验进行的统计检验得到p值为6.59 × 10⁻¹¹，表明结果整体具有极强的显著性。
• LSTM.Cluster模型在性能上未显著劣于指数平滑基准方法（ETS和ES），而全局LSTM_All模型则显著劣于对照方法。
• 该方法在固定起点和滚动起点评估中，均在中位数sMAPE、平均MASE和基于排名的指标上表现出一致的改进。