[论文解读] iTransformer: Inverted Transformers Are Effective for Time Series Forecasting

Yong Liu, Tengge Hu+5 more|arXiv (Cornell University)|Oct 10, 2023

Time Series Analysis and Forecasting被引用 354

一句话总结

iTransformer 通过将每个变异量视为独立的令牌并对变体之间应用自注意力，同时对系列表示使用共享前馈网络，颠覆 Transformer 架构，从而实现时间序列预测的最先进水平。

ABSTRACT

The recent boom of linear forecasting models questions the ongoing passion for architectural modifications of Transformer-based forecasters. These forecasters leverage Transformers to model the global dependencies over temporal tokens of time series, with each token formed by multiple variates of the same timestamp. However, Transformers are challenged in forecasting series with larger lookback windows due to performance degradation and computation explosion. Besides, the embedding for each temporal token fuses multiple variates that represent potential delayed events and distinct physical measurements, which may fail in learning variate-centric representations and result in meaningless attention maps. In this work, we reflect on the competent duties of Transformer components and repurpose the Transformer architecture without any modification to the basic components. We propose iTransformer that simply applies the attention and feed-forward network on the inverted dimensions. Specifically, the time points of individual series are embedded into variate tokens which are utilized by the attention mechanism to capture multivariate correlations; meanwhile, the feed-forward network is applied for each variate token to learn nonlinear representations. The iTransformer model achieves state-of-the-art on challenging real-world datasets, which further empowers the Transformer family with promoted performance, generalization ability across different variates, and better utilization of arbitrary lookback windows, making it a nice alternative as the fundamental backbone of time series forecasting. Code is available at this repository: https://github.com/thuml/iTransformer.

研究动机与目标

• 质疑传统 Transformer 嵌入在多变量时间序列中的必要性。
• 提出一种 inverted-Transformer 设计，将每个变异量作为其自己的令牌嵌入，并对变体之间应用注意力。
• 证明颠倒架构在性能、跨变异量的泛化，以及对更长回看窗口的有效利用方面的提升。
• 在真实世界的预测基准上展示最先进的结果，并分析组件选择。

提出的方法

• 将每个变异量嵌入为独立的令牌（变异量作为令牌）。
• 使用自注意力来捕捉跨变异量令牌的多变量相关性。
• 对每个变异量令牌应用共享前馈网络以学习序列表示。
• 对每变异量表示应用层归一化，以减少测量差异。
• 通过最终的逐变量表示的简单投影来预测未来值。

实验结果

研究问题

• RQ1 将 Transformer 架构颠倒（将每个变异量作为独立令牌）是否能改善多变量时间序列预测？
• RQ2 颠倒的 Transformer 组件（跨变异量的注意力和仅对每个变异量的 FFN）是否会带来更好的表示和预测性能？
• RQ3 iTransformer 如何对未见变异量进行泛化并处理不同的回看窗口？
• RQ4 回看长度对颠倒与普通 Transformer 预测器在性能上的影响是什么？
• RQ5 iTransformer 是否是现实世界高维时间序列预测的可行骨干网络？

主要发现

• iTransformer 在若干真实世界数据集上实现了最先进的性能。
• 颠倒使注意力更清晰地学习多变量相关性，前馈网络学习变异量特定的表示。
• 该模型对未见变异量具有更好的泛化能力，且在训练与推理之间支持灵活数量的变异量。
• 更长的回看窗口提升 iTransformer 的性能，而普通 Transformer 的收益有限或为负。
• 在颠倒框架内应用高效的注意力变体可在降低计算量的同时实现强劲性能。
• 消融研究表明变异量级注意力与时序 FFN 的组合可获得最佳结果。