[論文レビュー] Zero-shot Forecasting by Simulation Alone

Boris N. Oreshkin, Mayank Jauhari+11 more|arXiv (Cornell University)|Jan 2, 2026

Forecasting Techniques and Applications被引用数 0

ひとこと要約

この論文は SarSim0 を提示する。SarSim0 は SARIMA ベースの高速時系列シミュレータで、純粋に合成データで事前学習したニューラル予測モデルをゼロショット予測に適用可能とし、M-Series および GiftEval ベンチマークで強い一般化性能を達成する。合成データが実データによる事前学習に匹敵し、ゼロショット設定でいくつかのベースラインを上回ることさえある、ということを示す。

ABSTRACT

Zero-shot time-series forecasting holds great promise, but is still in its infancy, hindered by limited and biased data corpora, leakage-prone evaluation, and privacy and licensing constraints. Motivated by these challenges, we propose the first practical univariate time series simulation pipeline which is simultaneously fast enough for on-the-fly data generation and enables notable zero-shot forecasting performance on M-Series and GiftEval benchmarks that capture trend/seasonality/intermittency patterns, typical of industrial forecasting applications across a variety of domains. Our simulator, which we call SarSim0 (SARIMA Simulator for Zero-Shot Forecasting), is based off of a seasonal autoregressive integrated moving average (SARIMA) model as its core data source. Due to instability in the autoregressive component, naive SARIMA simulation often leads to unusable paths. Instead, we follow a three-step procedure: (1) we sample well-behaved trajectories from its characteristic polynomial stability region; (2) we introduce a superposition scheme that combines multiple paths into rich multi-seasonality traces; and (3) we add rate-based heavy-tailed noise models to capture burstiness and intermittency alongside seasonalities and trends. SarSim0 is orders of magnitude faster than kernel-based generators, and it enables training on circa 1B unique purely simulated series, generated on the fly; after which well-established neural network backbones exhibit strong zero-shot generalization, surpassing strong statistical forecasters and recent foundation baselines, while operating under strict zero-shot protocol. Notably, on GiftEval we observe a "student-beats-teacher" effect: models trained on our simulations exceed the forecasting accuracy of the AutoARIMA generating processes.

研究の動機と目的

• 実データが乏しく、偏っている、またはリークが生じやすい産業現場におけるゼロショット予測の動機づけ。
• 大規模に前学習を行うための、リークのない高速な合成データ生成器の開発。
• 多季節性と重尾ノイズの拡張を伴う安定した SARIMA ダイナミクスにシミュレータを基づかせる。
• ターゲットデータのファインチューニングなしに、合成データで事前学習したモデルが異種ベンチマークへ一般化することを実証する。

提案手法

• ベースモデル：合成系列のデータ生成過程のコアとして SARIMA を採用。
• 単位円内の極をサンプルし、極の表現から係数を導出してシミュレーションを安定化。
• SARIMA-2 を導入し、基底過程とエンベロープ過程の加法的または乗法的相互作用による bi-seasonality を捉える。
• Noiser モジュールを付属させ、重尾・レベル依存の撹乱（ポアソン、一般化ガンマ、対数正規）を注入。
• 複数軌跡にわたって生成をベクトル化し、何十億系列の即時生成を可能に。
• SarSim0 由来データのみで foundation-model backbones（例：NBEATS、PatchTST、Chronos-Small T5）を訓練し、ベンチマークでゼロショット性能を評価。

Figure 1: SarSim0 simulator pipeline. Top: two base components are generated by SARIMA with AR (and seasonal) roots sampled via the characteristic polynomial inside the stability region, yielding well-behaved paths at seasonalities $s\!=\!24$ and $s\!=\!7$ . Middle: a SARIMA-2 superposition/modulati

実験結果

リサーチクエスチョン

• RQ1 SARIMA ベースの合成データ生成器は、予測モデルの訓練に適した現実的な時系列パターンを生み出せるか。
• RQ2 純粋にシミュレートされたデータでの事前学習は、多様な実世界ベンチマークに対する強いゼロショット一般化を実現するか。
• RQ3 異なるアーキテクチャ的帰納バイアス（例：NBEATS、PatchTST、Chronos）は、合成データで事前学習した場合どうなるか。
• RQ4 各シミュレーター構成要素（SARIMA、SARIMA-2、Noisers）がゼロショット予測性能にどの程度寄与するか。

主な発見

• SarSim0 で訓練したモデルは、異種ベンチマーク全般で強いゼロショット一般化を示し、実データ事前学習ベースラインを上回ることがある。
• SarSim0 を前提としたモデルは、しばしば大規模な実データ前学習モデルとのギャップを縮め、KernelSynth や ForecastPFN のような一部の合成ベースラインを上回ることがある。
• 多様な帰納バイアスを持つアーキテクチャ（密結合型、アテンション型、パッチ適用型など）が、同一の合成データで訓練されても競争力のある性能を示し、モデル選択の頑健性を示唆。
• GiftEval では、SarSim0 で前学習したモデルが student-beats-teacher 効果を示し、AutoARIMA により生成された過程を上回る。
• アブレーション研究により、SARIMA-2 および Noisers が一般化へ有意に寄与し、特にバックボーン間での精度向上には SARIMA-2 の寄与が大きいことが分かった。

Figure 2: Sampling of SARIMA poles by SarSim0 . The SARIMA order-10 AR process poles are shown along with the unit circle on the left. The resulting generated processes with these poles are shown on the right. The top pane shows poles sampled according to the proposed procedure, resulting in a reali