[论文解读] FreDo: Frequency Domain-based Long-Term Time Series Forecasting

Fan-Keng Sun, Duane S. Boning|arXiv (Cornell University)|May 24, 2022

Stock Market Forecasting Methods被引用 9

一句话总结

FreDo 提出了一种基于频域的神经网络模型，通过利用周期性并减少误差累积，在长期时间序列预测中优于最先进的 Transformer 模型（如 Autoformer）。该模型基于周期性基准模型（AverageTile）构建，在频域中进行学习，实现了最高达 50% 的误差降低，并在多种数据集上显著提升了泛化能力。

ABSTRACT

The ability to forecast far into the future is highly beneficial to many applications, including but not limited to climatology, energy consumption, and logistics. However, due to noise or measurement error, it is questionable how far into the future one can reasonably predict. In this paper, we first mathematically show that due to error accumulation, sophisticated models might not outperform baseline models for long-term forecasting. To demonstrate, we show that a non-parametric baseline model based on periodicity can actually achieve comparable performance to a state-of-the-art Transformer-based model on various datasets. We further propose FreDo, a frequency domain-based neural network model that is built on top of the baseline model to enhance its performance and which greatly outperforms the state-of-the-art model. Finally, we validate that the frequency domain is indeed better by comparing univariate models trained in the frequency v.s. time domain.

研究动机与目标

• 探究复杂深度学习模型在长期时间序列预测中是否真正优于简单基线模型，原因是否在于误差累积。
• 设计一种简单、基于周期性的基线模型（AverageTile），使其在长时程预测任务中达到最先进性能。
• 提出 FreDo，一种基于频域的神经网络，以增强基线模型，并在长期预测中实现更优性能。
• 验证在单变量预测设置中，频域学习相较于时域学习的优势。

提出的方法

• FreDo 是一种前馈神经网络，其在频域中运行，通过离散傅里叶变换（DFT）将输入时间序列转换到频域。
• 该模型在数据集中所有时间序列之间共享参数，以促进泛化并减少过拟合。
• 它建立在 AverageTile 基线之上，该基线通过重复时间序列最近一个周期来预测未来值。
• 频域表示使模型能够比时域模型更有效地捕捉和利用固有的周期性模式。
• 消融研究对比了在时域（TimeDo）和频域（FreDo）训练的单变量模型，每条序列独立训练，以评估模型的完整能力。
• 通过配对 t 检验在每个数据集的所有单变量序列上评估统计显著性。

实验结果

研究问题

• RQ1 长期预测中的误差累积是否限制了复杂模型相对于简单基线模型的性能提升？
• RQ2 非参数化、基于周期性的基线模型（AverageTile）能否实现与 Autoformer 等最先进 Transformer 模型相当的性能？
• RQ3 在长期预测中，与时域学习相比，频域学习是否能带来更好的泛化能力和更低的误差？
• RQ4 在多种单变量时间序列中，频域模型的性能提升是否具有统计显著性？

主要发现

• 在所有数据集和预测时长中，FreDo 的误差降低幅度至少优于 Autoformer 20%，在某些基准上甚至达到 50%。
• 性能提升具有统计显著性，大多数比较的 p 值 < 1%，表明结果具有高度置信度。
• 与 Autoformer 相比，FreDo 的偏差和方差均更低，这归因于其更小的模型规模以及在序列间共享参数的策略。
• 在单变量比较中，FreDo 在全部七个数据集上均持续优于 TimeDo，配对 t 检验确认了统计显著的改进。
• 频域方法减少了长期预测中的误差累积，如图 4 所示的误差曲线增长更缓慢所证实。
• 结果验证了在长期预测中，频域学习比时域学习更有效，尤其是在建模周期性模式时。