[论文解读] FECAM: Frequency Enhanced Channel Attention Mechanism for Time Series Forecasting

Maowei Jiang, Pengyu Zeng+4 more|arXiv (Cornell University)|Dec 2, 2022

Time Series Analysis and Forecasting被引用 5

一句话总结

该论文提出FECAM（基于离散余弦变换的频率增强通道注意力机制），通过建模跨通道的频域依赖关系，提升时间序列预测性能。与傅里叶变换不同，DCT可避免吉布斯现象，并实现高效的能量集中，从而在六个真实世界数据集上实现最先进性能，计算开销极低，且仅需几行代码即可集成到Transformer、LSTM和Informer等现有模型中。

ABSTRACT

Time series forecasting is a long-standing challenge due to the real-world information is in various scenario (e.g., energy, weather, traffic, economics, earthquake warning). However some mainstream forecasting model forecasting result is derailed dramatically from ground truth. We believe it's the reason that model's lacking ability of capturing frequency information which richly contains in real world datasets. At present, the mainstream frequency information extraction methods are Fourier transform(FT) based. However, use of FT is problematic due to Gibbs phenomenon. If the values on both sides of sequences differ significantly, oscillatory approximations are observed around both sides and high frequency noise will be introduced. Therefore We propose a novel frequency enhanced channel attention that adaptively modelling frequency interdependencies between channels based on Discrete Cosine Transform which would intrinsically avoid high frequency noise caused by problematic periodity during Fourier Transform, which is defined as Gibbs Phenomenon. We show that this network generalize extremely effectively across six real-world datasets and achieve state-of-the-art performance, we further demonstrate that frequency enhanced channel attention mechanism module can be flexibly applied to different networks. This module can improve the prediction ability of existing mainstream networks, which reduces 35.99% MSE on LSTM, 10.01% on Reformer, 8.71% on Informer, 8.29% on Autoformer, 8.06% on Transformer, etc., at a slight computational cost ,with just a few line of code. Our codes and data are available at https://github.com/Zero-coder/FECAM.

研究动机与目标

• 为解决主流时间序列模型在捕捉频域模式（尤其是富含真实世界数据的低频分量）方面的局限性。
• 克服基于傅里叶变换的频域建模固有的吉布斯现象，该现象在信号边界引入高频噪声。
• 设计一种通用、轻量级模块，通过改进频率感知表征学习，增强Transformer、LSTM和Informer等现有模型。
• 在多样化的现实世界时间序列基准上实现最先进性能，同时计算成本极低。

提出的方法

• 提出一种频率增强通道注意力机制（FECAM），利用离散余弦变换（DCT）建模跨通道的频域依赖关系。
• 采用DCT而非傅里叶变换，避免吉布斯现象，确保边界近似更平滑，消除高频噪声。
• 对各通道学习到的权重进行加权，以突出重要频率，实现通道间与频域内关系的联合建模。
• 将FECAM作为即插即用模块集成到Transformer、Informer和LSTM等现有架构中，仅需极少的结构修改。
• 利用DCT的能量集中特性，通过更少的频率分量高效重构信号。
• 在最终的FECAM变体中引入投影层，以减少参数量并缓解过拟合，提升泛化能力。

实验结果

研究问题

• RQ1 频域建模能否提升主流时间序列预测模型的预测精度？
• RQ2 用离散余弦变换（DCT）替代傅里叶变换（DFT）是否能减少吉布斯现象，并改善时间序列预测中的边界近似？
• RQ3 一种频率感知注意力机制是否能在Transformer、LSTM和Informer等多样化架构中实现良好泛化？
• RQ4 DCT的能量集中特性与DFT相比，在使用更少分量重建时间序列信号时表现如何？
• RQ5 FECAM在具有不同频率内容的真实世界数据集上，性能提升程度如何？

主要发现

• FECAM在六个真实世界时间序列数据集（包括ETTm2、Exchange和Weather）上实现最先进性能。
• 在LSTM上MSE降低35.99%，在Reformer上降低10.01%，在Informer上降低8.71%，在Autoformer上降低8.29%，在Transformer上降低8.06%。
• 在具有强低频能量的数据显示集（如ETTm2和Weather）上，FECAM带来最大性能提升；而在低频成分不占主导的交通数据集上，性能增益较小。
• 可视化结果表明，FECAM能有效学习有意义的频域-通道注意力模式，在捕捉频率感知表征方面优于标准注意力机制。
• 基于DCT的信号重构在能量集中方面优于DFT，能以更少的分量实现相当或更优的信号保真度。
• FECAM模块具有高度泛化能力，仅需几行代码即可集成到现有模型中，且计算开销极低。