[论文解读] Are Transformers Effective for Time Series Forecasting?

Ailing Zeng, Muxi Chen+2 more|arXiv (Cornell University)|May 26, 2022

Time Series Analysis and Forecasting被引用 182

一句话总结

本文表明，一个简单的一层线性基线（LTSF-Linear）在九个真实世界数据集上常常优于基于 Transformer 的前沿长时序预测模型，从而质疑 Transformer 在 LTSF 的时序建模有效性。

ABSTRACT

Recently, there has been a surge of Transformer-based solutions for the long-term time series forecasting (LTSF) task. Despite the growing performance over the past few years, we question the validity of this line of research in this work. Specifically, Transformers is arguably the most successful solution to extract the semantic correlations among the elements in a long sequence. However, in time series modeling, we are to extract the temporal relations in an ordered set of continuous points. While employing positional encoding and using tokens to embed sub-series in Transformers facilitate preserving some ordering information, the nature of the \emph{permutation-invariant} self-attention mechanism inevitably results in temporal information loss. To validate our claim, we introduce a set of embarrassingly simple one-layer linear models named LTSF-Linear for comparison. Experimental results on nine real-life datasets show that LTSF-Linear surprisingly outperforms existing sophisticated Transformer-based LTSF models in all cases, and often by a large margin. Moreover, we conduct comprehensive empirical studies to explore the impacts of various design elements of LTSF models on their temporal relation extraction capability. We hope this surprising finding opens up new research directions for the LTSF task. We also advocate revisiting the validity of Transformer-based solutions for other time series analysis tasks (e.g., anomaly detection) in the future. Code is available at: \url{https://github.com/cure-lab/LTSF-Linear}.

研究动机与目标

• 质疑基于 Transformer 的解决方案在长期时序预测（LTSF）中的有效性。
• 提出一个简单的线性基线（LTSF-Linear）来挑战基于 Transformer 的 LTSF 模型。
• 在多样化的现实世界数据集上评估并比较基于 Transformer 的 LTSF 模型与 LTSF-Linear。
• 调查设计要素（嵌入、回看窗口、DMS 与 IMS）及它们对时序关系抽取的影响。

提出的方法

• 引入 LTSF-Linear，一个一层时序线性模型，通过加权和直接预测未来值：X_hat = W X，其中 W ∈ R^{T x L}。
• 研发两种变体以处理趋势和分布变化：DLinear（分解 + 对趋势和季节部分的线性预测）和 NLinear（通过减去最后一个值进行归一化，然后线性预测）。
• 基准测试对比基于 Transformer 的 LTSF 模型（FEDformer、Autoformer、Informer、Pyraformer、LogTrans）在九个真实世界的多变量数据集上。
• 通过消融和输入打乱实验分析回看窗口大小、输入嵌入以及自注意力与线性层的影响。
• 评估计算效率与实际推理成本。

实验结果

研究问题

• RQ1 基于 Transformer 的模型在长序列的 LTSF 中真的能够捕获时序关系吗？
• RQ2 简单线性模型在 LTSF 基准中是否有竞争力或优越性，且在何种条件下？
• RQ3 回看窗口大小和嵌入选择如何影响 LTSF 中的时序关系抽取？
• RQ4 DMS 与 IMS 预测在基于 Transformer 的 LTSF 性能中的作用是什么？
• RQ5 像输入打乱这样的变换是否揭示 Transformer 基模型与线性基线在时间顺序保持方面的差异？

主要发现

• LTSF-Linear 在九个基准测试的多变量预测中领先现有基于 Transformer 的 LTSF 模型，约高出 20% 到 50%。
• 随着回看窗口增大，Transformer 常常未能降低预测误差，表明对长序列的时序关系抽取能力有限。
• 即使不建模变量间相关性，LTSF-Linear 仍然表现强劲，表明它是一个强大的简单基线。
• 消融研究表明自注意力及其他 Transformer 组件并非这些基准的必要条件，简化可以提升或达到相同的性能。
• 打乱实验显示 Transformer 基模型对输入顺序信息的依赖低于 LTSF-Linear，意味着当前 Transformers 的时序排序保持能力较弱。