[论文解读] A review and comparison of strategies for multi-step ahead time series forecasting based on the NN5 forecasting competition

Souhaib Ben Taieb, Gianluca Bontempi+2 more|arXiv (Cornell University)|Aug 16, 2011

Forecasting Techniques and Applications参考文献 58被引用 5

一句话总结

本文使用 NN5 竞赛数据集中的 111 个时间序列，评估并比较了六种多步预测策略——递归、直接、DirRec、MIMO、DIRMO。主要发现为：多输出策略（尤其是 MIMO-ACFLIN）优于其他策略，去季节化能一致提升准确性，且当与去季节化结合时，输入变量选择效果最佳。

ABSTRACT

Multi-step ahead forecasting is still an open challenge in time series forecasting. Several approaches that deal with this complex problem have been proposed in the literature but an extensive comparison on a large number of tasks is still missing. This paper aims to fill this gap by reviewing existing strategies for multi-step ahead forecasting and comparing them in theoretical and practical terms. To attain such an objective, we performed a large scale comparison of these different strategies using a large experimental benchmark (namely the 111 series from the NN5 forecasting competition). In addition, we considered the effects of deseasonalization, input variable selection, and forecast combination on these strategies and on multi-step ahead forecasting at large. The following three findings appear to be consistently supported by the experimental results: Multiple-Output strategies are the best performing approaches, deseasonalization leads to uniformly improved forecast accuracy, and input selection is more effective when performed in conjunction with deseasonalization.

研究动机与目标

• 在大规模实证设置中，系统评估并比较现有多步时间序列预测策略。
• 研究预处理技术（去季节化与输入变量选择）对不同策略预测准确性的影响。
• 评估预测组合方法在提升预测性能方面的有效性。
• 确定预竞赛验证数据的结果在多大程度上能可靠预测在保留测试集上的实际表现。
• 识别适用于长期时间序列预测的最稳健且准确的机器学习模型方法。

提出的方法

• 本研究评估六种预测策略：递归、直接、DirRec、MIMO、DIRMO 以及单输出懒惰学习方法。
• 多输出策略（MIMO 与 DIRMO）使用单一模型同时建模所有预测时域，从而最小化误差累积。
• 通过经典分解方法（如 X-12-ARIMA）进行去季节化处理，以在预测前去除季节成分。
• 使用基于相关性与信息论准则的输入变量选择方法，当与去季节化结合时效果尤为显著。
• 通过等权重（COMB）与加权（WCOMB）平均方法对多个模型进行预测组合，以提升鲁棒性。
• 评估使用 SMAPE 作为主要指标，覆盖 NN5 预测竞赛中的 111 个时间序列，并使用弗里德曼检验进行统计显著性检验。

实验结果

研究问题

• RQ1 在不同时间序列中，哪种多步预测策略——递归、直接、DirRec、MIMO 或 DIRMO——能产生最准确的预测？
• RQ2 去季节化如何影响不同预测策略在多步预测任务中的表现？
• RQ3 输入变量选择是否能提升预测准确性？其优势是否依赖于去季节化等预处理步骤？
• RQ4 与单个模型选择（WINNER）相比，预测组合技术（如 COMB、WCOMB）在提升预测准确性方面的有效性如何？
• RQ5 预竞赛验证数据的结果在多大程度上能预测 NN5 竞赛保留测试集中的实际表现？

主要发现

• 多输出策略（MIMO 与 DIRMO）始终优于单输出策略，其中 MIMO-ACFLIN 在所有模型中取得最低 SMAPE 值 20.28。
• 在 39 个测试模型中的 38 个中，去季节化均提升了预测准确性，表明其对性能具有普遍积极影响。
• 仅当与去季节化结合时，输入变量选择才能显著提升准确性；若无去季节化，结果则不一致甚至可能产生负面影响。
• 预测组合方法（COMB 与 WCOMB）优于胜者独占法（WINNER），且 COMB 与 WCOMB 表现相近。
• 策略的相对排名及预处理技术的影响在预竞赛与实际竞赛结果之间保持一致。
• 基于预竞赛验证结果选择的 MIMO-ACFLIN 策略，在实际 NN5 竞赛中计算智能类参赛作品中排名第一。