[論文レビュー] TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables

Yuxuan Wang, Haixu Wu+7 more|arXiv (Cornell University)|Feb 29, 2024

Time Series Analysis and Forecasting被引用数 46

ひとこと要約

TimeXer は、canonical Transformers を強化し、外生変数を series-level variate embeddings、patch-level endogenous tokens、そして cross-attention を通じて統合することにより、内生時系列を予測できるようにし、実世界のベンチマークで最先端の結果を達成します。

ABSTRACT

Deep models have demonstrated remarkable performance in time series forecasting. However, due to the partially-observed nature of real-world applications, solely focusing on the target of interest, so-called endogenous variables, is usually insufficient to guarantee accurate forecasting. Notably, a system is often recorded into multiple variables, where the exogenous variables can provide valuable external information for endogenous variables. Thus, unlike well-established multivariate or univariate forecasting paradigms that either treat all the variables equally or ignore exogenous information, this paper focuses on a more practical setting: time series forecasting with exogenous variables. We propose a novel approach, TimeXer, to ingest external information to enhance the forecasting of endogenous variables. With deftly designed embedding layers, TimeXer empowers the canonical Transformer with the ability to reconcile endogenous and exogenous information, where patch-wise self-attention and variate-wise cross-attention are used simultaneously. Moreover, global endogenous tokens are learned to effectively bridge the causal information underlying exogenous series into endogenous temporal patches. Experimentally, TimeXer achieves consistent state-of-the-art performance on twelve real-world forecasting benchmarks and exhibits notable generality and scalability. Code is available at this repository: https://github.com/thuml/TimeXer.

研究の動機と目的

• 現実世界の時系列における予測精度を向上させるために外生変数を活用する必要性を動機づける。
• アーキテクチャの変更なしで内生情報と外生情報を統合する Transformer ベースのフレームワークを提案する。
• パッチレベルの時系列モデリングとシリーズレベルの変数間相互作用を可能にする埋め込みスキームを設計する。
• 外生入力を用いた短期および長期の予測ベンチマークで強力な実証性能を示す。

提案手法

• 内生系列と外生シリーズを共通の D 次元 variate 空間に射影する EnVariateEmbed と ExVariateEmbed を導入する。
• 内生系列をパッチ単位の時間トークンに埋め込み、系列内の時間依存性を捉える。
• 内生変数と外生変数の双方にシリーズレベルの variate トークンを用い、多変量相関をモデル化する。
• 内生トークンに対してパッチごとの自己注意を適用し時間的依存性を学習する。内生 variate トークンから外生 variate トークンへの variate-wise クロスアテンションを適用して情報を融合する。
• 線形デコーダを用いて内生の未来を予測し、L2 損失で最適化する。
• アーキテクチャの変更なしに標準の Transformer 構造を維持し、埋め込み戦略により外生情報を統合する。

実験結果

リサーチクエスチョン

• RQ1 外生変数が利用可能な場合、TimeXer は内生系列の予測精度を向上させるか？
• RQ2 埋め込み選択（時系列パッチ vs. 系列レベルの variates）は性能と効率性にどう影響するか？
• RQ3 内生 variate トークンと外生 variate トークン間のクロスアテンションは解釈可能な多変量関係を明らかにできるか？
• RQ4 外生データが欠損・ずれている場合の TimeXer の頑健性はどの程度か、また外生のルックバック長が性能にどう影響するか？
• RQ5 TimeXer は多様な実世界データセットで短期および長期の予測に有効か？

主な発見

• TimeXer は短期・長期の両設定で12の実世界の予測ベンチマークにおいて最先端の性能を達成する。
• アブレーション研究は、提案設計（内生パッチトークンと exogenous variate トークンを含む内生 variate トークン、およびクロスアテンション） が他の埋め込みより優れていることを示している。
• TimeXer は部分的に欠損した外生データの下でも競争力を維持し、データ品質の問題に対する頑健性を示している。
• variates トークンに対するクロスアテンションは、内生と外生変数の既知の関係と一致する解釈可能なアテンションマップを生成する。
• 外生のルックバック長を増やすと一般に予測性能が向上し、外部コンテキストの価値が強調される。