[论文解读] First De-Trend then Attend: Rethinking Attention for Time-Series Forecasting

Xiyuan Zhang, Xiao-Yong Jin+7 more|arXiv (Cornell University)|Dec 15, 2022

Time Series Analysis and Forecasting被引用 22

一句话总结

TDformer 将时间序列分解为趋势和季节性，使用趋势的 MLP 和季节性的傅里叶域注意力，达到最先进的预测性能。

ABSTRACT

Transformer-based models have gained large popularity and demonstrated promising results in long-term time-series forecasting in recent years. In addition to learning attention in time domain, recent works also explore learning attention in frequency domains (e.g., Fourier domain, wavelet domain), given that seasonal patterns can be better captured in these domains. In this work, we seek to understand the relationships between attention models in different time and frequency domains. Theoretically, we show that attention models in different domains are equivalent under linear conditions (i.e., linear kernel to attention scores). Empirically, we analyze how attention models of different domains show different behaviors through various synthetic experiments with seasonality, trend and noise, with emphasis on the role of softmax operation therein. Both these theoretical and empirical analyses motivate us to propose a new method: TDformer (Trend Decomposition Transformer), that first applies seasonal-trend decomposition, and then additively combines an MLP which predicts the trend component with Fourier attention which predicts the seasonal component to obtain the final prediction. Extensive experiments on benchmark time-series forecasting datasets demonstrate that TDformer achieves state-of-the-art performance against existing attention-based models.

研究动机与目标

• 在线性条件下，时域、傅里叶域或小波域学习的注意力是否具有等效的表示能力。
• 在经验上分析 softmax 归一化如何影响在季节性、趋势和噪声上的注意力表现。
• 为预测设计并激发一个混合模型，该模型利用各领域的特定优势。
• 证明将数据分解为趋势和季节性可以提升基于注意力的预测性能。

提出的方法

• 理论上证明在线性注意力下，时域、傅里叶域和小波域注意力的等价性。
• 在具有季节性、趋势和尖峰的合成数据中，经验分析注意力行为以分离 softmax 效应。
• 提出 TDformer：将输入分解为趋势和季节性部分，使用 MLP 预测趋势部分，使用傅里叶注意力预测季节性部分，然后将两部分相加。
• 在趋势预测器之前，应用多重滑动平均滤波器和自适应权重的季节-趋势分解，以及RevIN归一化。
• 在季节性编码器/解码器块中使用傅里叶注意力来预测季节性分量。
• 以未来时间序列的重建均方误差损失进行优化。

实验结果

研究问题

• RQ1 在线性条件下，时域、傅里叶域和小波域注意力机制是否具有等效的表示能力？
• RQ2 softmax 归一化如何影响在不同域上的注意力经验行为？
• RQ3 将时间序列分解为趋势和季节性是否能提升基于注意力的预测的有效性？
• RQ4 将面向趋势的 MLP 和用于季节性的傅里叶注意力结合起来是否能带来更优的预测性能？

主要发现

• 在线性条件下，时域、傅里叶域和小波域注意力在理论上等价。
• Softmax 归一化导致跨季节性、趋势和噪声的域之间的经验表现差异。
• 傅里叶域注意力在强季节性下样本效率高，而趋势数据仅靠注意力则泛化性能较差。
• 基于分解的混合模型（TDformer），使用对趋势的 MLP 和对季节性的傅里叶注意力，在基准数据集上实现了最先进的结果。
• RevIN 归一化和显式的季节-趋势分解提高了 TDformer 的性能和鲁棒性。