[论文解读] Machine Learning vs Statistical Methods for Time Series Forecasting: Size Matters

Vítor Cerqueira, Luı́s Torgo+1 more|arXiv (Cornell University)|Sep 29, 2019

Time Series Analysis and Forecasting参考文献 34被引用 74

一句话总结

本文表明样本量会影响单变量时间序列预测中机器学习与统计方法的相对表现，随着数据量增大，ML 获得优势。

ABSTRACT

Time series forecasting is one of the most active research topics. Machine learning methods have been increasingly adopted to solve these predictive tasks. However, in a recent work, these were shown to systematically present a lower predictive performance relative to simple statistical methods. In this work, we counter these results. We show that these are only valid under an extremely low sample size. Using a learning curve method, our results suggest that machine learning methods improve their relative predictive performance as the sample size grows. The code to reproduce the experiments is available at https://github.com/vcerqueira/MLforForecasting.

研究动机与目标

• 动机：在时间序列预测中超越小样本规模，重新审视机器学习与统计方法之争。
• 控制样本量以比较机器学习与统计方法的预测效果。
• 在训练数据増长的情况下评估单步预测和多步预测。
• 提供一个经验性、可重复的框架，结合前瞻学习曲线来评估预测方法。

提出的方法

• 使用 90 条单变量时间序列，至少有 1000 个观测值，为统一性截断为 1000。
• 比较五种统计方法（ARIMA、Naive2、Theta、ETS、Tbats）与五种基于 ML 的 AR(p) 方法（RBR、RF、GP、MARS、GLM）。
• 在预测之前应用 Box-Cox 变换、季节性处理和趋势移除，方法同 Makridakis 等人（2018）。
• 采用前瞻性学习曲线程序，使训练规模从 18 个观测值起逐步增加，预测接下来 1 步或 18 步。
• 使用均值绝对放缩误差（MASE）和跨时间序列的模型排名进行评估；报告每个模型的平均排名。

实验结果

研究问题

• RQ1 在单变量时间序列预测中，统计方法与机器学习方法的相对预测性能是否依赖于样本量？
• RQ2 随着数据量增加，一步预测和多步预测场景在哪种方法表现最好方面有何差异？
• RQ3 在自动化参数调整下，竞争方法的计算成本特征是什么？
• RQ4 在比较中排除明显较弱的基线（例如 Naive2）后，结果是否会改变？

主要发现

• 在训练规模非常小时，统计方法的表现优于机器学习方法；但随着样本量增大，ML 方法超过统计方法。
• 排除 Naive2 时，ML 方法赶上并且在单步预测的学习曲线中往往更早地超越统计方法。
• 对于多步预测，ARIMA 以平均排名成为最优，但整体上 ML 与统计方法在训练规模增大时趋于收敛（除 Naive2 外）。
• ML 方法受益于更大的数据集，但在多步预测中为应对增加的不确定性可能需要更多数据。
• 由于参数优化，某些自动化统计方法（如 ARIMA、Tbats）的计算时间较高，而在所测试的设置下，ML 方法显示出较低的相对复杂度。