[論文レビュー] From Tables to Time: Extending TabPFN-v2 to Time Series Forecasting

Shi Bin Hoo, Samuel Müller+2 more|arXiv (Cornell University)|Jan 6, 2025

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

TabPFN-TS は時系列予測においてタイムスタンプ由来の特徴を用いた表形式基盤モデルを適用し、実世界の事前学習なしでも競争力のある結果を達成し、しばしばより大きな時系列モデルを上回る。

ABSTRACT

Recent progress in foundation models has enabled strong zero-shot performance for time series forecasting. In this work, we show that such capabilities can also emerge from tabular foundation models. We introduce TabPFN-TS, a simple method that treats forecasting as a tabular regression problem by combining lightweight temporal featurization with the pretrained TabPFN-v2. This formulation requires no time-series-specific pretraining and naturally supports both univariate and covariate-informed forecasting. Despite its compact size (11M parameters), TabPFN-TS achieves state-of-the-art performance on covariate-informed forecasting and competitive accuracy on univariate forecasting across the GIFT-Eval and fev-bench benchmarks. We further provide controlled analyses examining how the model interprets temporal structure, how featurization choices affect accuracy, and how forecasts change under alternative tabular backbones. Together, our results demonstrate that tabular foundation models--when paired with suitable temporal features--offer an efficient and versatile alternative for forecasting, bridging tabular and time-series learning within a unified framework. Code is available at https://github.com/PriorLabs/tabpfn-time-series.

研究の動機と目的

• タブラー基盤モデル (TabPFN) を時系列予測へ実世界の時系列事前学習なしで効果的に適用できることを実証する。
• 単純なタイムスタンプベースの特徴量エンジニアリングで競争力のある多段予測が十分であることを示す。
• TabPFN-TS を統計・深屈学習・事前学習済み時系列ベースラインと多様なデータセットで比較する。
• ゼロショットおよびドメイン内設定における非AR・非バッチ・系列ごとの TabPFN アプローチの利点と制約を強調する。

提案手法

• 各系列について独立して扱う表形式回帰タスクとして時系列予測を形成する。
• 暦由来特徴量・正弦/余弦エンコーディング・ランニングインデックスを用いてタイムスタンプを特徴化し、ラグ特徴を回避する。
• 過去履歴由来の特徴量表から未来値を予測するために TabPFN（回帰変種）を用いる。
• 自己回帰的依存なしに TabPFN の出力を集約して多段先の予測を得る。
• MASE を幾何平均で評価し、24データセットに対して季節性Naive、AutoETS、AutoARIMA、AutoTheta、DeepAR、TFT、Chronos-Mini、Chronos-Large を含むベースラインと比較する。

Figure 1: Overview of TabPFN-TS. Given a time series, we derive features from the timestamps to form both X_train and X_test . The target values of the history are used as y_train . These three variables are then used by TabPFN to predict the target values of the future timestamps.

実験結果

リサーチクエスチョン

• RQ1 人工データのみで事前学習した表形式基盤モデルが実世界の時系列事前学習なしで時系列予測に競争力を持つか。
• RQ2 TabPFN を用いたとき、タイムスタンプ由来の特徴量エンジニアリングが予測精度に及ぼす影響は。
• RQ3 TabPFN-TS はゼロショットおよびドメイン内設定で、専門的な時系列モデルや他の基盤モデルとどう比較されるか。
• RQ4 時系列予測のための系列ごと非バッチ推論アプローチの性能とレイテンシ特性は。

主な発見

• TabPFN-TS は評価データセットで全ベースラインを上回る。
• 11Mパラメータの TabPFN-TS は Chronos-Mini（20M）を7.7%上回る。
• TabPFN-TS は Chronos-Large（710M、パラメータ数65倍）を 3.0% 上回る僅かな改善を示す。
• TabPFN-TS は強力なゼロショット性能を示し、Chronos がデータセットで訓練されていない場合にしばしば Chronos 変種を上回る。

Figure 2: Forecasting performance of various models on 24 datasets. MAE scores are normalized using the scores of Seasonal Naive to compute Relative MASE, then aggregated via geometric mean over the datasets. 95% confidence interval is included. Lower is better.