[論文レビュー] Timer-XL: Long-Context Transformers for Unified Time Series Forecasting

Yong Liu, Qin Guo+3 more|arXiv (Cornell University)|Oct 7, 2024

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

Timer-XLは、多変数次のトークン予測と、二重の時間的・変数的位置埋め込みを備えた新規のTimeAttentionメカニズムを導入することで、一貫性があり生成的なTransformerフレームワークを提示し、長期間の時系列予測を実現する。このアプローチにより、因果的で、系列内および系列間の依存関係を捉えることができ、最大数千トークンのコンテキスト長を有するunivariate、multivariate、およびcovariate情報付きの予測ベンチマークにおいて、最先端の性能を達成し、強力な汎化性能と文脈の柔軟性を示している。

ABSTRACT

We present Timer-XL, a causal Transformer for unified time series forecasting. To uniformly predict multidimensional time series, we generalize next token prediction, predominantly adopted for 1D token sequences, to multivariate next token prediction. The paradigm formulates various forecasting tasks as a long-context prediction problem. We opt for decoder-only Transformers that capture causal dependencies from varying-length contexts for unified forecasting, making predictions on non-stationary univariate time series, multivariate series with complicated dynamics and correlations, as well as covariate-informed contexts that include exogenous variables. Technically, we propose a universal TimeAttention to capture fine-grained intra- and inter-series dependencies of flattened time series tokens (patches), which is further enhanced by deft position embedding for temporal causality and variable equivalence. Timer-XL achieves state-of-the-art performance across task-specific forecasting benchmarks through a unified approach. Based on large-scale pre-training, Timer-XL achieves state-of-the-art zero-shot performance, making it a promising architecture for pre-trained time series models. Code is available at this repository: https://github.com/thuml/Timer-XL.

研究の動機と目的

• 既存の時系列Transformerは通常、数百トークン程度の制限されたコンテキストでのみ動作するため、グローバルなトレンドや非ステーションリティをモデル化する能力が制限されているというコンテキストボトルネックを解消すること。
• 多変数次のトークン予測を用いて、univariate、multivariate、およびcovariate情報付きの予測を統一的に扱うフレームワークを構築し、すべての予測タスクをフラット化された時系列パッチの自己回帰的生成として定式化すること。
• 生成的Transformerが、因果性を保ちつつ、細粒度の系列内および系列間の依存関係を効果的にモデル化できるようにし、可変長の入力に対しても文脈の柔軟性を維持すること。
• 多様な時系列ダイナミクスとデータセットにわたる大規模事前学習と転移学習を可能にする、スケーラブルなワン・フォー・オールの予測基盤モデルを開発すること。

提案手法

• すべての予測タスクをフラット化された時系列パッチ上の自己回帰的生成として定式化する統一的パラダイムとして、多変数次のトークン予測を提案する。
• 時間的および変数的次元における相対的位置埋め込みと学習可能なマスキングを備えた、因果的自己注意メカニズムであるTimeAttentionを導入し、因果性を保ちつつ系列間の依存関係をモデル化する。
• 時間的ポイントおよび変数の両方の相対的位置埋め込みを統合することで、標準的な自己注意メカニズムを変更せずに、時間的および変数に敏感なモデリングを強化する。
• Timer-XLを、大規模事前学習により強化された、Timerモデルの超長コンテキスト拡張版として設計し、強力な汎化性能と転送可能性を実現する。
• 文脈の柔軟性を維持するため、推論における入力および出力長の任意性を保つために、デコーダー専用のTransformerアーキテクチャを採用する。
• 繰り返し自己回帰的生成を用いて長期間予測を実現し、アーキテクチャ的および学習的イノベーションにより誤差蓄積を効果的に制御する。

実験結果

リサーチクエスチョン

• RQ1 統一された生成的Transformerフレームワークは、univariate、multivariate、およびcovariate情報付きのシナリオを含む多様な時系列予測タスクを、同一のパラダイムで効果的に処理できるか？
• RQ2 数千トークンにまで拡張されたコンテキスト長は、非定常的かつ高次元の時系列において、予測性能をどのように向上させるか？
• RQ3 提案されたTimeAttentionメカニズムは、標準的な自己注意や先行手法と比較して、系列内および系列間の依存関係のモデル化をどの程度向上させるか？
• RQ4 長期間コンテキストを有する大規模事前学習済み生成的Transformerは、多様なデータセットおよび時間的ダイナミクスにわたって、効果的に汎化できるか？
• RQ5 自己回帰的生成における長期間時系列予測の限界は何か？ そして、それらはどのように緩和できるか？

主な発見

• Timer-XLは、ETTh1、ETTh2、ETTm1、ETTm2、Weather、Solar-Energy、Trafficなど、複数のベンチマークで最先端の性能を達成し、全コンテキスト長においてMAEおよびRMSEの顕著な改善を示している。
• ETTm1データセットにおいて、コンテキスト長720でMAE 0.164、RMSE 0.258を達成し、全評価コンテキスト長で先行手法を上回っている。
• ETTm1ベンチマークでは1位獲得数19、ETTm2では17を記録しており、データセット全体にわたる強力な汎化性能と耐性を示している。
• 大規模事前学習により、Timer-XLは顕著なモデル転送性を示し、未観測の時系列においても強力なfew-shotおよびzero-shot性能を達成している。
• 96から720トークンまでの多様なコンテキスト長にわたり、高い性能を維持しており、文脈の柔軟性とワン・フォー・オール予測器としての適性を確認している。
• 広範なアブレーションスタディにより、二重の位置埋め込みを備えたTimeAttentionが、標準的な自己注意やベースラインモデルと比較して顕著に性能向上を示しており、特に系列間相関の捉え込みにおいて優れていることが確認された。