[論文レビュー] ForecastPFN: Synthetically-Trained Zero-Shot Forecasting

Samuel Dooley, Gurnoor Singh Khurana+3 more|arXiv (Cornell University)|Nov 3, 2023

Forecasting Techniques and Applications被引用数 7

ひとこと要約

ForecastPFNは新規の合成データ分布で訓練され、ゼロショット時系列予測を実行し、ターゲット系列データを訓練に用いずにワンフォワードパスで正確な予測を提供します。低データ/時間予算下で複数の最先端手法を上回り、非常に高速です。

ABSTRACT

The vast majority of time-series forecasting approaches require a substantial training dataset. However, many real-life forecasting applications have very little initial observations, sometimes just 40 or fewer. Thus, the applicability of most forecasting methods is restricted in data-sparse commercial applications. While there is recent work in the setting of very limited initial data (so-called `zero-shot' forecasting), its performance is inconsistent depending on the data used for pretraining. In this work, we take a different approach and devise ForecastPFN, the first zero-shot forecasting model trained purely on a novel synthetic data distribution. ForecastPFN is a prior-data fitted network, trained to approximate Bayesian inference, which can make predictions on a new time series dataset in a single forward pass. Through extensive experiments, we show that zero-shot predictions made by ForecastPFN are more accurate and faster compared to state-of-the-art forecasting methods, even when the other methods are allowed to train on hundreds of additional in-distribution data points.

研究の動機と目的

• データが乏しく初期観測が少ない現実世界の設定で予測の動機づけを行う。
• ベイズ推論を近似する合成データだけで訓練されたゼロショット予測モデルを提案する。
• 任意の未来クエリ予測に対応できる柔軟なトランスフォーマー型PFNを開発する。
• 合成事前知識の訓練がデータ集約的なベースラインよりも精度と速度で優れることを示す。
• 多様な現実世界データセットに対して頑健性と速度の利点を示す。

提案手法

• ForecastPFNを導入する。これは novel synthetic time-series prior でオフライン訓練された prior-data fitted network (PFN) である。
• マルチスケール季節性、線形/指数的グローバル傾向、Weibullベースの乗数ノイズを含むモジュラーな合成データ分布を設計する。
• (t, y_t)トークンと未来日付クエリを受け取り単一の未来予測を出力するトランスフォーマー型エンコーダを用いる。
• 学習を安定化させるためにロバストスケーリングと地真ノイズを除去する損失を適用する。
• 1系列あたり101の予測タスクを作成するスライディングウィンドウを用いて300,000個の合成系列で訓練し、600エポックで総計1,024,000タスクを達成する。
• ForecastPFNは任意の未来タイムステップを単一のワンフォワードパスで予測し、未見データセットに対して真のゼロショット予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ターゲット系列訓練データなしで、純粋に合成データで訓練したゼロショット予測モデルは現実世界の時系列に対して競争力のある精度を達成できるか。
• RQ2 合成事前知識は季節性・傾向・ノイズといった多様な時系列パターン generalization を現実データの事前知識と比べてどう促進するか。
• RQ3 予測においてゼロショット・可変長未来クエリを最適にサポートする建築上・訓練上の選択肢は何か。
• RQ4 ForecastPFNは制約されたデータ/時間予算下で既存のゼロショットおよびデータ情報型予測手法と比べてどの程度性能を示すか。
• RQ5 実務的な予測ワークフローにおける単一パスのゼロショット推論の速度と頑健性の利点は何か。

主な発見

Algorithm	ECL	ETTh1	ETTh2	Exchange	Illness	Traffic	Weather
Budget=50	Arima 1.840	Autoformer 1.289	FEDformer 0.683	ForecastPFN 1.075	Informer 1.252	Last 0.910	Mean 0.673	Meta-N-BEATS 0.909	Prophet 2.174	SeasonalNaive 0.453	Transformer 0.945
Budget=500	Arima 1.969	Autoformer 0.513	FEDformer 0.480	ForecastPFN 1.075	Informer 0.453	Last 0.910	Mean 0.673	Meta-N-BEATS 0.909	Prophet 15.668	SeasonalNaive 0.453	Transformer 0.541

• ForecastPFNはターゲット系列データを訓練データとして観測せずに、複数の現実世界データセットで強いゼロショット性能を達成する。
• 低データ・低時間予算下で最先端手法を上回り、予算が大きくなるにつれて競争力を維持する。
• ForecastPFNは非常に高速で、データセットあたり約0.2秒（単一フォワードパス）で予測を出力する。
• 他のゼロショット手法であるMeta-N-BEATSと比較して、設定を問わず一貫してForecastPFNが上回る。
• 合成事前知識は多段階のトレンドとノイズを用いた一般化能力を広く持つ。
• 小規模データ予算で平均MSEが最も低い値を達成することが多く、より大きな予算でも堅牢性を保つ。