[論文レビュー] iTransformer: Inverted Transformers Are Effective for Time Series Forecasting

Yong Liu, Tengge Hu+5 more|arXiv (Cornell University)|Oct 10, 2023

Time Series Analysis and Forecasting被引用数 354

ひとこと要約

iTransformer は トランスフォーマーアーキテクチャを反転させ、各変数を独立したトークンとして扱い、変数間で自己注意を適用しつつ系列表現の共有FFNを使用して、時系列予測で最先端を達成する。

ABSTRACT

The recent boom of linear forecasting models questions the ongoing passion for architectural modifications of Transformer-based forecasters. These forecasters leverage Transformers to model the global dependencies over temporal tokens of time series, with each token formed by multiple variates of the same timestamp. However, Transformers are challenged in forecasting series with larger lookback windows due to performance degradation and computation explosion. Besides, the embedding for each temporal token fuses multiple variates that represent potential delayed events and distinct physical measurements, which may fail in learning variate-centric representations and result in meaningless attention maps. In this work, we reflect on the competent duties of Transformer components and repurpose the Transformer architecture without any modification to the basic components. We propose iTransformer that simply applies the attention and feed-forward network on the inverted dimensions. Specifically, the time points of individual series are embedded into variate tokens which are utilized by the attention mechanism to capture multivariate correlations; meanwhile, the feed-forward network is applied for each variate token to learn nonlinear representations. The iTransformer model achieves state-of-the-art on challenging real-world datasets, which further empowers the Transformer family with promoted performance, generalization ability across different variates, and better utilization of arbitrary lookback windows, making it a nice alternative as the fundamental backbone of time series forecasting. Code is available at this repository: https://github.com/thuml/iTransformer.

研究の動機と目的

• 多変量時系列に対する従来の Transformer 埋め込みの必要性を疑問視する。
• 各変量を独自のトークンとして埋め込み、変量間に注意を適用する反転型 Transformer 設計を提案する。
• 反転型アーキテクチャが性能向上、変量間の一般化、およびより長いLookbackウィンドウの有効活用をもたらすことを示す。
• 実世界の予測ベンチマークにおける最先端結果を示し、構成要素の選択を分析する。

提案手法

• 各変量を独立したトークンとして埋め込む（変量をトークンとして扱う）。
• 変量トークン間の多変量相関を捉えるために自己注意を使用する。
• 各変量トークンに共通のフィードフォワードネットワークを適用して系列表現を学習する。
• 変量ごとの表現に適用される層正規化を使用して測定の不一致を低減する。
• 最終的な変量ごとの表現からの単純な射影によって将来の値を予測する。

実験結果

リサーチクエスチョン

• RQ1 Transformer アーキテクチャを反転させる（各変量を別個のトークンとして扱う）ことで、多変量時系列予測が改善されるか？
• RQ2 反転型 Transformer の構成要素（変量間の注意と variate ごとの FFN）が、より良い表現と予測性能につながるか？
• RQ3 iTransformer は見知らぬ変量への一般化や可変の lookback ウィンドウの取り扱いにどのように対応するか？
• RQ4 反転型と従来型の Transformer 予測器における lookback 長さの性能への影響は？
• RQ5 iTransformer は実世界の高次元時系列予測に適したバックボーンとなり得るか？

主な発見

• iTransformer は複数の実世界データセットで最先端の性能を達成する。
• 反転によって注意機構が多変量相関をより明確に学習し、FFN が変量特異的な表現を学習する。
• 未知の変量への一般化性が高く、訓練時と推論時で柔軟な変量数をサポートする。
• 長い lookback ウィンドウは iTransformer の性能を向上させる一方、従来の Transformer の利益は限定的または負になる。
• 反転フレームワーク内で効率的な注意の変種を適用することで、計算を削減しつつ高い性能を得る。
• アブレーション研究は、変量レベルの注意と時系列 FFN の組み合わせが最良の結果を生むことを示す。