[论文解读] ETSformer: Exponential Smoothing Transformers for Time-series Forecasting

Gerald Woo, Chenghao Liu+3 more|arXiv (Cornell University)|Feb 3, 2022

Time Series Analysis and Forecasting被引用 108

一句话总结

ETSformer 引入 Exponential Smoothing Attention 和 Frequency Attention 以用于时间序列预测的 Transformers，实现可解释的 level/growth/seasonal 分解，并在多个真实世界数据集上取得最先进的结果。

ABSTRACT

Transformers have been actively studied for time-series forecasting in recent years. While often showing promising results in various scenarios, traditional Transformers are not designed to fully exploit the characteristics of time-series data and thus suffer some fundamental limitations, e.g., they generally lack of decomposition capability and interpretability, and are neither effective nor efficient for long-term forecasting. In this paper, we propose ETSFormer, a novel time-series Transformer architecture, which exploits the principle of exponential smoothing in improving Transformers for time-series forecasting. In particular, inspired by the classical exponential smoothing methods in time-series forecasting, we propose the novel exponential smoothing attention (ESA) and frequency attention (FA) to replace the self-attention mechanism in vanilla Transformers, thus improving both accuracy and efficiency. Based on these, we redesign the Transformer architecture with modular decomposition blocks such that it can learn to decompose the time-series data into interpretable time-series components such as level, growth and seasonality. Extensive experiments on various time-series benchmarks validate the efficacy and advantages of the proposed method. Code is available at https://github.com/salesforce/ETSformer.

研究动机与目标

• 将时间序列结构的归纳偏差（level、growth、seasonality）纳入用于预测的 Transformer。
• 用 Exponential Smoothing Attention (ESA) 和 Frequency Attention (FA) 替换 vanilla 自注意力，以捕捉最近性与季节性。
• 开发一个模块化的编解码器架构，学习可解释的潜在分量，并输出一个以 level、growth 和 seasonal 项相加的预测。
• 展示以 O(L log L) 复杂度的可扩展性和高效性，并在多样的真实世界数据集上进行验证。

提出的方法

• 提出 Exponential Smoothing Attention (ESA)，其权重基于相对时间落差呈指数衰减，借助快速互相关/FFT 基算法实现 O(L log L) 计算。
• 提出 Frequency Attention (FA)，使用傅里叶基来识别并外推主导季节性模式，具有 O(L log L) 复杂度。
• 构建 Multi-Head ESA (MH-ESA) 以从回看窗口的残差中提取潜在的增长信号。
• 将每个编码器层分解为 Seasonal（季节性）、Growth（增长）和 Level（水平）分量，并具有可学习的平滑参数，然后逐步细化残差。
• 将预测解码为跨 N 层的 Level、Growth 和 Seasonal 项的组合，其中包含增长阻尼以实现稳健的多步预测。

实验结果

研究问题

• RQ1 是否可以将时间序列特定的归纳偏差（level、增长、季节性）整合到 Transformer 中，以提高预测准确性和可解释性？
• RQ2 Exponential Smoothing Attention 和 Frequency Attention 相较于 vanilla 自注意力在时间序列预测中是否提供了效率和性能上的提升？
• RQ3 一个模块化、分解的架构是否能够学习出与经典指数平滑相一致的有意义的水平、增长和季节性表示？
• RQ4 所提出的 ETSformer 是否能扩展到长回看窗口，同时在多变量和单变量数据集上达到具有竞争力或更高的准确性？

主要发现

• ETSformer 取得了最先进的性能，在 40 种多变量设置中有 35 次超越基线，在 23 种单变量设置中有 17 次超越基线。
• 即使不是最佳，模型仍具有高度竞争力，在所有 40 种多变量设置中排名前二，在 23 种单变量设置中有 21 种进入前二。
• 消融实验表明去除 Level、Growth 或 Season 任一分量都会下降性能，其中 Level 尤为关键。
• ETSformer 通过将预测分解为水平、增长和季节性分量来提供可解释的预测，这些分量与合成数据和真实数据集的真实模式相吻合。
• ESA 和 FA 机制提供 O(L log L) 复杂度，使得长序列推断更高效。