[論文レビュー] Are Transformers Effective for Time Series Forecasting?

Ailing Zeng, Muxi Chen+2 more|arXiv (Cornell University)|May 26, 2022

Time Series Analysis and Forecasting被引用数 182

ひとこと要約

本論文は、単純な1層の線形ベースライン（LTSF-Linear）が、9つの実世界データセットにおいて、最先端のTransformerベースの長期時系列予測モデルをしばしば上回ることを示しており、LTSFにおけるTransformerの時間的モデリング有効性を問い直している。

ABSTRACT

Recently, there has been a surge of Transformer-based solutions for the long-term time series forecasting (LTSF) task. Despite the growing performance over the past few years, we question the validity of this line of research in this work. Specifically, Transformers is arguably the most successful solution to extract the semantic correlations among the elements in a long sequence. However, in time series modeling, we are to extract the temporal relations in an ordered set of continuous points. While employing positional encoding and using tokens to embed sub-series in Transformers facilitate preserving some ordering information, the nature of the \emph{permutation-invariant} self-attention mechanism inevitably results in temporal information loss. To validate our claim, we introduce a set of embarrassingly simple one-layer linear models named LTSF-Linear for comparison. Experimental results on nine real-life datasets show that LTSF-Linear surprisingly outperforms existing sophisticated Transformer-based LTSF models in all cases, and often by a large margin. Moreover, we conduct comprehensive empirical studies to explore the impacts of various design elements of LTSF models on their temporal relation extraction capability. We hope this surprising finding opens up new research directions for the LTSF task. We also advocate revisiting the validity of Transformer-based solutions for other time series analysis tasks (e.g., anomaly detection) in the future. Code is available at: \url{https://github.com/cure-lab/LTSF-Linear}.

研究の動機と目的

• LTSF（長期時系列予測）に対するTransformerベースのソリューションの有効性を疑問視する。
• TransformerベースのLTSFモデルに挑戦するための単純な線形ベースライン（LTSF-Linear）を提案する。
• 多様な実世界データセットを横断して、TransformerベースのLTSFモデルとLTSF-Linearを評価・比較する。
• 設計要素（埋め込み、後ろ向きウィンドウ、DMS対 IMS）と、それらが時系列関係抽出に与える影響を調査する。

提案手法

• LTSF-Linearを導入する。これは1層の時系列線形モデルで、未来の値を直接、加重和で予測する： X_hat = W X, with W in R^{T x L}。
• 傾向と分布シフトを扱う2つの変種を開発する：DLinear（分解＋傾向と季節部分の線形予測子）とNLinear（最後の値を引くことによる正規化、次に線形予測子）。
• 9つの実世界の多変量データセットで、TransformerベースのLTSFモデル（FEDformer、Autoformer、Informer、Pyraformer、LogTrans）とベンチマークを取る。
• アブレーションと入力シャッフル実験を通じて、後ろ向きウィンドウサイズ、入力埋め込み、自己注意対線形層の影響を分析する。
• 計算効率と実用的な推論コストを評価する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのモデルは、LTSFの長い系列における時系列関係を真に捉えているのか。
• RQ2 LTSFのベンチマークに対して、単純な線形モデルは競合するか、または優れている条件は何か。
• RQ3 後ろ向きウィンドウサイズと埋め込み選択は、LTSFにおける時系列関係抽出にどのような影響を与えるのか。
• RQ4 TransformerベースのLTSF性能におけるDMS対IMS forecastingの役割は何か。
• RQ5 入力のシャッフルのような変換は、Transformerベースのモデルと線形ベースラインの時系列順序保持の差を示すのか。

主な発見

• LTSF-Linearは、9つのベンチマークで既存のTransformerベースLTSFモデルを約20%から50%上回る多変量予測を実現した。
• 後ろ向きウィンドウサイズが大きくなると、Transformerは予測誤差を減少させることが難しく、長い系列に対する時系列関係抽出の限界を示唆する。
• LTSF-Linearは、変数間の相関をモデル化しなくても強力なベースラインとして機能し、LTSFタスクにおける有力な手法であり得る。
• アブレーション研究は、自己注意などのTransformer要素がこれらのベンチマークで必須ではなく、単純化が性能を向上または同等にする可能性を示す。
• シャッフル実験は、Transformerベースの方法が入力順序情報に依存する度合いがLTSF-Linearよりも低いことを示唆し、現在のTransformerの時系列順序保持能力が弱いことを示している。