[論文レビュー] TimeGPT-1

Azul Garza, Challu, Cristian+1 more|arXiv (Cornell University)|Oct 5, 2023

Time Series Analysis and Forecasting被引用数 23

ひとこと要約

TimeGPTは、時間系列予測のための最初の事前学習済み基盤モデルであり、多様なデータセットに対するゼロショット予測を可能にし、多くのベースラインを上回る。

ABSTRACT

In this paper, we introduce TimeGPT, the first foundation model for time series, capable of generating accurate predictions for diverse datasets not seen during training. We evaluate our pre-trained model against established statistical, machine learning, and deep learning methods, demonstrating that TimeGPT zero-shot inference excels in performance, efficiency, and simplicity. Our study provides compelling evidence that insights from other domains of artificial intelligence can be effectively applied to time series analysis. We conclude that large-scale time series models offer an exciting opportunity to democratize access to precise predictions and reduce uncertainty by leveraging the capabilities of contemporary advancements in deep learning.

研究の動機と目的

• 未知のデータセットに一般化する時系列予測の基盤モデルの実現性を示す。
• TimeGPTを用いたゼロショット推論が従来の統計・深層学習ベースラインを上回ることを示す。
• エンドツーエンドのトレーニングパイプラインよりも事前訓練済み時系列モデルの効率性と単純さの利点を評価する。

提案手法

• エンコーダ-デコーダアーキテクチャと局所位置エンコーディングを備えたTransformerベースのTimeGPT。
• さまざまなドメインで公開されている最大規模の時系列コレクション（1000億以上のデータポイントを超える）で訓練。
• 複数の頻度（月次・週次・日次・時間単位）に渡る大規模なテストセット（30万以上の系列）でのゼロショット予測による評価。
• 非強い分布仮定で予測区間を生成するための適合予測による不確実性定量化。
• 統計・機械学習・ニューラル予測ベースラインとの比較。
• トレーニングの詳細、推論速度、潜在的なファインチューニングの利点の議論。

実験結果

リサーチクエスチョン

• RQ1 追加のトレーニングなしで、単一の事前訓練済みTimeGPTモデルは多様なドメインの未知の時系列を予測できるか？
• RQ2 異なる頻度で、統計・ML・深層学習ベースラインと比較してTimeGPTのゼロショット推論はどのように性能を発揮するか？
• RQ3 推論速度の効率性向上と、Forecasting基盤モデルとしてTimeGPTを展開する際の実務的含意は？
• RQ4 TimeGPTを時系列のサブセットにファインチューニングすることでどのような影響があるか？
• RQ5 この設定で適合予測によって生成される不確実性推定の信頼性はどの程度か？

主な発見

頻度	指標	TimeGPT (Zero-shot)	Best Baseline	Second Best Baseline	Third Best Baseline
月次	rMAE	0.727	0.752 (TFT)	0.738 (NHITS)	0.799 (DOTheta)
月次	rRMSE	0.685	0.700 (TFT)	0.694 (NHITS)	0.734 (DOTheta)
週次	rMAE	0.878	0.954 (TFT)	0.883 (NHITS)	1.056 (CTheta)
週次	rRMSE	0.878	0.954 (TFT)	0.883 (NHITS)	1.056 (CTheta)
日次	rMAE	0.804	0.817 (TFT)	0.788 (NHITS)	0.837 (LGBM)
日次	rRMSE	0.780	0.791 (TFT)	0.771 (NHITS)	0.806 (LGBM)
時間毎	rMAE	0.852	1.120 (TFT)	0.829 (NHITS)	0.898 (LGBM)
時間毎	rRMSE	0.878	1.112 (TFT)	0.860 (NHITS)	0.896 (CES)

• TimeGPTはゼロショット予測において周波数ごとにトップ3の性能を達成した。
• TimeGPTの推論は非常に高速（平均0.6 ms/系列）で、従来のトレーニングベースのパイプラインを桁違いに上回る。
• 非常に大規模かつ多様なデータセットで訓練することで、再訓練なしに未知の系列へ一般化できる。
• 系列のサブセットでTimeGPTをファインチューニングすると、ゼロショット結果に対して精度が向上。
• 適合予測は強い分布仮定なしで不確実性区間を提供し、リスク評価を支援する。