[论文解读] FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting

Tian Zhou, Ziqing Ma+4 more|arXiv (Cornell University)|Jan 30, 2022

Time Series Analysis and Forecasting被引用 535

一句话总结

FEDformer 将季节-趋势分解与频域 Transformer 块结合，实现线性复杂度的长期预测，并在多项最新方法上提升准确性。

ABSTRACT

Although Transformer-based methods have significantly improved state-of-the-art results for long-term series forecasting, they are not only computationally expensive but more importantly, are unable to capture the global view of time series (e.g. overall trend). To address these problems, we propose to combine Transformer with the seasonal-trend decomposition method, in which the decomposition method captures the global profile of time series while Transformers capture more detailed structures. To further enhance the performance of Transformer for long-term prediction, we exploit the fact that most time series tend to have a sparse representation in well-known basis such as Fourier transform, and develop a frequency enhanced Transformer. Besides being more effective, the proposed method, termed as Frequency Enhanced Decomposed Transformer ({\bf FEDformer}), is more efficient than standard Transformer with a linear complexity to the sequence length. Our empirical studies with six benchmark datasets show that compared with state-of-the-art methods, FEDformer can reduce prediction error by $14.8\%$ and $22.6\%$ for multivariate and univariate time series, respectively. Code is publicly available at https://github.com/MAZiqing/FEDformer.

研究动机与目标

• 动机：使用基于 Transformer 的模型进行长期预测，以捕捉全局时间序列特性。
• 提出一种频域 Transformer 架构，将傅里叶/小波表示与季节-趋势分解相结合。
• 通过随机子集频率分量和专家混合分解实现线性时间/内存复杂度。
• 在六个真实世界数据集上对比最先进方法，展示在多个领域的改进。

提出的方法

• 引入 Frequency Enhanced Block (FEB) 与 Frequency Enhanced Attention (FEA)，在傅里叶域或小波域中作为自注意力和交叉注意力的替代。
• 结合 Mixture Of Experts Decomposition (MOEDecomp) 来提取并融合季节-趋势分量。
• 使用固定数量的傅里叶分量（或小波等效物）进行随机选择以获得紧凑的时间序列表示，并具有理论保证（定理 1）。
• 提供两种变体 FEB-f/FEA-f（傅里叶）和 FEB-w/FEA-w（小波）在频域学习。
• 将解码后的季节分量与趋势分量结合，生成最终预测。
• 分析计算复杂度，在固定模式数量下呈现 O(L) 的时间和内存，并在适用情况下相对于全注意力的 O(N log N) 降维。

实验结果

研究问题

• RQ1 将时间序列分解为季节/趋势分量并与 Transformer 架构结合，能否改善长期预测？
• RQ2 在频域（傅里叶或小波）工作是否能实现高效、可扩展的长 horizon 预测而不牺牲精度？
• RQ3 随机、稀疏选择的傅里叶/小波分量是否能保留用于准确预测的关键历史（定理 1）？
• RQ4 将专家混合分解整合对提取季节-趋势模式有何影响？
• RQ5 FEDformer 在多领域真实数据集上对比最先进的 Transformer 基模型的表现如何？

主要发现

• FEDformer 在六个基准数据集上，多变量预测的误差比最先进方法低 14.8%，单变量低 22.6%。
• FEB/FEA 模块可以替代自注意力和交叉注意力，在各实验中实现更好或相同的性能。
• MOEDecomp 在单一分解方案上额外带来提升（平均约 2.96%）。
• FEDformer 在不同预测步长（96、192、336、720 步）和数据集（能源、交通、经济、天气、疾病）上表现出显著提升。
• 两种频率变体（傅里叶与小波）各具互补优势，建议同时使用以实现稳健的长期预测。