[论文解读] ForecastPFN: Synthetically-Trained Zero-Shot Forecasting

Samuel Dooley, Gurnoor Singh Khurana+3 more|arXiv (Cornell University)|Nov 3, 2023

Forecasting Techniques and Applications被引用 7

一句话总结

ForecastPFN 在新颖的合成数据分布上进行训练，实现零-shot 时间序列预测，在单次前向传播中无需目标序列训练数据即可获得准确预测。它在低数据/低时间预算下优于若干前沿方法，并且速度极快。

ABSTRACT

The vast majority of time-series forecasting approaches require a substantial training dataset. However, many real-life forecasting applications have very little initial observations, sometimes just 40 or fewer. Thus, the applicability of most forecasting methods is restricted in data-sparse commercial applications. While there is recent work in the setting of very limited initial data (so-called `zero-shot' forecasting), its performance is inconsistent depending on the data used for pretraining. In this work, we take a different approach and devise ForecastPFN, the first zero-shot forecasting model trained purely on a novel synthetic data distribution. ForecastPFN is a prior-data fitted network, trained to approximate Bayesian inference, which can make predictions on a new time series dataset in a single forward pass. Through extensive experiments, we show that zero-shot predictions made by ForecastPFN are more accurate and faster compared to state-of-the-art forecasting methods, even when the other methods are allowed to train on hundreds of additional in-distribution data points.

研究动机与目标

• 在数据稀疏的真实世界场景中，只有少量初始观测时的预测动机。
• 提出一种仅在合成数据上训练的零-shot 预测模型，近似贝叶斯推断。
• 开发一个基于变换器的 PFN，使其能够进行任意未来查询的预测。
• 证明合成先验训练在准确性和速度上优于数据需求旺盛的基线方法。
• 展示在多样的真实数据集上，鲁棒性和速度优势。

提出的方法

• 引入 ForecastPFN，一个在新颖合成时间序列先验上离线训练的 prior-data fitted network (PFN)。
• 设计一个模块化的合成数据分布，具有多尺度季节性、全局线性/指数趋势，以及基于 Weibull 的乘性噪声。
• 使用一个基于变换器的编码器，接受 (t, y_t) 代币和一个未来日期查询，以产生单一未来预测。
• 应用鲁棒缩放和一个去除 ground-truth 噪声的损失以稳定训练。
• 在 300,000 条合成序列上进行训练，使用滑动窗口为每条序列创建 101 个预测任务，整轮总任务数为 1,024,000，训练 600 轮。
• ForecastPFN 能在单次前向传播中预测任意未来时间步，实现对未见数据集的真正零-shot 预测。

实验结果

研究问题

• RQ1 一个仅在合成数据上训练的零-shot 预测模型是否可以在不使用目标序列训练数据的情况下，对真实世界时间序列实现有竞争力的准确性？
• RQ2 相较于真实数据先验，合成先验如何在不同时间序列模式（季节性、趋势、噪声）上实现泛化？
• RQ3 哪些架构与训练选择最有利于在预测中实现零-shot、可变长度的未来查询？
• RQ4 在受限的数据和时间预算下，ForecastPFN 相较于现有的零-shot 与数据驱动预测方法的表现如何？
• RQ5 单次前向推理的速度和鲁棒性在实际预测工作流中有哪些好处？

主要发现

• ForecastPFN 在多个真实世界数据集上实现了强零-shot 性能，无需观察目标序列进行训练。
• 在低数据和低时间预算下，ForecastPFN 的表现优于最先进的方法，并在预算增加时仍具竞争力。
• ForecastPFN 极快，在每个数据集大约 0.2 秒内给出预测（单次前向传播）。
• 与另一零-shot 方法 Meta-N-BEATS 相比，ForecastPFN 在各设置下均表现优于其对比。
• 具有多尺度趋势和噪声的合成先验能够广泛地泛化到多样的时间序列模式。
• 在小数据预算下，ForecastPFN 往往实现最低的平均 MSE，并在较大预算下仍保持强势。