[论文解读] Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting

Haixu Wu, Jiehui Xu+2 more|arXiv (Cornell University)|Jun 24, 2021

Neural Networks and Applications被引用 1,311

一句话总结

Autoformer 引入了一种基于分解的 transformer 架构，配以 Auto-Correlation 机制，以实现高效、准确的长期时间序列预测，复杂度为 O(L log L)，在六个基准上达到最先进的结果。

ABSTRACT

Extending the forecasting time is a critical demand for real applications, such as extreme weather early warning and long-term energy consumption planning. This paper studies the long-term forecasting problem of time series. Prior Transformer-based models adopt various self-attention mechanisms to discover the long-range dependencies. However, intricate temporal patterns of the long-term future prohibit the model from finding reliable dependencies. Also, Transformers have to adopt the sparse versions of point-wise self-attentions for long series efficiency, resulting in the information utilization bottleneck. Going beyond Transformers, we design Autoformer as a novel decomposition architecture with an Auto-Correlation mechanism. We break with the pre-processing convention of series decomposition and renovate it as a basic inner block of deep models. This design empowers Autoformer with progressive decomposition capacities for complex time series. Further, inspired by the stochastic process theory, we design the Auto-Correlation mechanism based on the series periodicity, which conducts the dependencies discovery and representation aggregation at the sub-series level. Auto-Correlation outperforms self-attention in both efficiency and accuracy. In long-term forecasting, Autoformer yields state-of-the-art accuracy, with a 38% relative improvement on six benchmarks, covering five practical applications: energy, traffic, economics, weather and disease. Code is available at this repository: \\url{https://github.com/thuml/Autoformer}.

研究动机与目标

• 通过建模错综复杂的时序模式，应对长期时间序列预测的挑战。
• 在不牺牲信息利用的前提下，提升基于 Transformer 的长序列预测的效率。
• 引入一个在模型内部进行的渐进分解框架，而非作为预处理。
• 利用序列周期性设计 Auto-Correlation 机制，在子序列层面聚合子序列。

提出的方法

• 提出 Autoformer，一种分解预测架构，嵌入 SeriesDecomp 内部模块以分离趋势-周期性和季节性成分。
• 用 Auto-Correlation 机制替代标准自注意力，该机制利用序列自相关来识别基于周期的依赖。
• 通过 FFT（Wiener–Khinchin 定理）计算自相关，以实现 O(L log L) 的复杂度，并通过选定的时间延迟滚动子序列以进行聚合。
• 将编码器构建为建模季节性成分，并通过对趋势部分的累积在解码器中逐步细化趋势信息。
• 在每一层中引入一个内部分解块，在预测过程中逐步分解隐藏变量。

实验结果

研究问题

• RQ1 如何将分解和周期性整合到深度预测模型中以应对长期预测？
• RQ2 在长序列的准确性和效率方面，序列级注意力式机制（Auto-Correlation）能否优于逐点自注意力？
• RQ3 在深度模型中进行渐进分解是否能提升跨多个真实世界领域的长期预测鲁棒性和准确性？
• RQ4 与最先进的基于 Transformer 的方法相比，Autoformer 在标准长期预测基准上的经验收益是多少？

主要发现

• Autoformer 在涵盖能源、交通、经济、天气和疾病的六个基准上实现了最先进的准确性。
• 所提出的 Auto-Correlation 机制提供 O(L log L) 的复杂度，并通过在周期层面对子序列进行聚合实现对信息的更优利用。
• Autoformer 展示出强大的长期鲁棒性，预测长度增加时性能衰减更为平滑。
• 渐进分解架构在与其他模型集成时提升了性能，表明分解方法具有广泛的适用性。
• 在多种设置下，相对于基线，Autoformer 在多组数据集上实现了显著的均方误差降幅（例如平均高达 38%）