[论文解读] Do We Really Need Deep Learning Models for Time Series Forecasting?

Shereen H. Elsayed, Daniela Thyssens+3 more|arXiv (Cornell University)|Jan 6, 2021

Traffic Prediction and Management Techniques参考文献 23被引用 14

一句话总结

该论文表明，通过精心设计的特征工程，将梯度提升回归树（GBRT）模型转化为基于窗口的回归框架，并将目标变量与外部特征拼接后，其在九个时间序列数据集上的表现优于多种最先进（SOTA）的深度学习模型。其核心贡献在于展示了当使用上下文感知的输入工程对简单模型进行恰当配置时，复杂的深度神经网络（DNN）并非实现具有竞争力预测性能的必要条件。

ABSTRACT

Time series forecasting is a crucial task in machine learning, as it has a wide range of applications including but not limited to forecasting electricity consumption, traffic, and air quality. Traditional forecasting models rely on rolling averages, vector auto-regression and auto-regressive integrated moving averages. On the other hand, deep learning and matrix factorization models have been recently proposed to tackle the same problem with more competitive performance. However, one major drawback of such models is that they tend to be overly complex in comparison to traditional techniques. In this paper, we report the results of prominent deep learning models with respect to a well-known machine learning baseline, a Gradient Boosting Regression Tree (GBRT) model. Similar to the deep neural network (DNN) models, we transform the time series forecasting task into a window-based regression problem. Furthermore, we feature-engineered the input and output structure of the GBRT model, such that, for each training window, the target values are concatenated with external features, and then flattened to form one input instance for a multi-output GBRT model. We conducted a comparative study on nine datasets for eight state-of-the-art deep-learning models that were presented at top-level conferences in the last years. The results demonstrate that the window-based input transformation boosts the performance of a simple GBRT model to levels that outperform all state-of-the-art DNN models evaluated in this paper.

研究动机与目标

• 探究传统机器学习模型（如GBRT）是否能够在不依赖深度学习的情况下，实现时间序列预测的竞争力表现。
• 评估基于窗口的输入转换与特征工程对GBRT在时间序列预测中性能的影响。
• 在多种时间序列数据集上，对比经过良好配置的GBRT基线模型与最先进（SOTA）的深度学习模型。
• 挑战当前普遍认为深度学习对于高精度时间序列预测必不可少的假设。
• 强调在时间序列研究中，恰当的模型配置与基线选择的重要性。

提出的方法

• 通过在时间序列数据上滑动固定大小的窗口，将时间序列预测问题转化为基于窗口的回归问题。
• 通过将过去窗口内目标值与外部协变量拼接，并将其展平为单个输入向量，对输入进行特征工程，以适应多输出GBRT模型。
• 使用多输出GBRT模型，从每个输入窗口中同时预测多个未来的时序步长。
• 将相同的窗口化与特征工程方法应用于单变量和多变量预测任务。
• 使用标准指标（RMSE、MAE）在九个多样化数据集上评估模型，涵盖电力、交通和空气质量数据。
• 通过消融研究评估在输入窗口中包含所有窗口实例的协变量与仅包含最后时间步协变量的影响。

实验结果

研究问题

• RQ1 将GBRT配置为基于窗口的输入与输出结构，如何影响其在时间序列预测中的性能？
• RQ2 经过良好配置的GBRT模型是否能够在时间序列预测中超越最先进（SOTA）的深度学习模型？
• RQ3 在窗口中包含所有过去时间步的协变量与仅包含最后时间步的协变量，其影响是什么？
• RQ4 GBRT在单变量与多变量预测任务中与DNN的性能相比如何？
• RQ5 为何朴素或传统配置的GBRT模型相较于经过工程优化的基线模型表现较差？

主要发现

• 基于窗口且经过特征工程的GBRT模型在所评估的九个数据集中，优于全部八种最先进（SOTA）的深度学习模型，包括LSTNet和DAQFF等模型。
• 在北京市PM2.5数据集中，GBRT模型的RMSE为42.37，MAE为25.87，优于DAQFF（RMSE：43.49，MAE：27.53）。
• 在城市空气质量数据集中，GBRT模型的RMSE为40.55，MAE为22.34，优于DAQFF（RMSE：46.49，MAE：25.01）。
• 消融研究显示，仅使用最后时间步的协变量在输入窗口中，其性能与使用所有窗口实例的协变量几乎相同，显著降低了计算成本。
• 经过恰当输入工程的GBRT模型优于朴素GBRT和ARIMA基线模型，凸显了输入配置在模型性能中的关键作用。
• 即使像DAQFF这样专为空气质量预测设计的专用DNN，也未能超越经过工程优化的GBRT，表明模型复杂度并不保证更优结果。