[论文解读] Frequency Adaptive Normalization For Non-stationary Time Series Forecasting

Weiwei Ye, Songgaojun Deng+2 more|arXiv (Cornell University)|Sep 30, 2024

Stock Market Forecasting MethodsDecision Sciences被引用 3

一句话总结

本文提出频率自适应归一化（FAN），一种与模型无关的归一化方法，通过实例级傅里叶变换识别并去除非平稳时间序列中的动态趋势与季节性成分。通过使用简单的多层感知机（MLP）建模主导频率分量的演化，FAN在八个基准数据集上的四种主干模型中均提升了预测性能，平均MSE降低7.76%至37.90%。

ABSTRACT

Time series forecasting typically needs to address non-stationary data with evolving trend and seasonal patterns. To address the non-stationarity, reversible instance normalization has been recently proposed to alleviate impacts from the trend with certain statistical measures, e.g., mean and variance. Although they demonstrate improved predictive accuracy, they are limited to expressing basic trends and are incapable of handling seasonal patterns. To address this limitation, this paper proposes a new instance normalization solution, called frequency adaptive normalization (FAN), which extends instance normalization in handling both dynamic trend and seasonal patterns. Specifically, we employ the Fourier transform to identify instance-wise predominant frequent components that cover most non-stationary factors. Furthermore, the discrepancy of those frequency components between inputs and outputs is explicitly modeled as a prediction task with a simple MLP model. FAN is a model-agnostic method that can be applied to arbitrary predictive backbones. We instantiate FAN on four widely used forecasting models as the backbone and evaluate their prediction performance improvements on eight benchmark datasets. FAN demonstrates significant performance advancement, achieving 7.76% ~ 37.90% average improvements in MSE.

研究动机与目标

• 解决现有可逆实例归一化方法仅依赖时域统计量（如均值、方差）而无法捕捉演化季节性模式的局限性。
• 开发一种能够有效建模时间序列数据中非平稳趋势与季节性分量的归一化技术。
• 实现与现有预测主干网络的模型无关集成，以提升性能。
• 显式建模从输入到输出的非平稳模式演化，而非假设其保持不变。

提出的方法

• FAN对每个输入序列应用实例级傅里叶变换，提取前K个主导频率分量，代表主要的非平稳因素。
• 通过移除这些主导频率分量对输入进行归一化，从而降低输入数据的非平稳性。
• 通过一个模式自适应模块（以简单MLP实现）预测从输入序列到输出序列的前K个频率分量的演化。
• 将预测的频率分量用于重建输出，以可微且可学习的方式恢复非平稳结构。
• 该方法设计为与模型无关，可无缝集成到任意深度学习主干网络中用于时间序列预测。
• 该方法显式建模输入与输出频率分量之间的差异，从而更好地泛化至非平稳动态。

实验结果

研究问题

• RQ1 通过傅里叶变换的频域表示是否能比时域统计量更有效地捕捉如演化趋势与季节性模式等非平稳分量？
• RQ2 可学习的频率自适应模块在建模时间步之间非平稳模式演化方面有多高效？
• RQ3 像FAN这样的与模型无关的归一化方法在多样化预测主干网络与数据集上能实现多大程度的性能提升？
• RQ4 FAN是否在处理复杂非平稳时间序列时优于仅依赖均值与方差的现有归一化技术？

主要发现

• 当应用于四种不同的预测主干网络时，FAN在八个基准数据集上实现了7.76%至37.90%的平均MSE降低。
• 该方法显著优于仅依赖时域统计量（如均值与方差）的现有可逆实例归一化技术。
• 采用简单MLP实现的模式自适应模块，有效捕捉了从输入到输出的主导频率分量演化，提升了预测准确性。
• FAN在包括交通、电力、汇率和天气预测在内的多样化领域中均表现出一致的性能提升。
• 消融实验确认，基于频率的归一化在捕捉非平稳动态方面优于时域归一化。
• 该方法对不同序列长度和非平稳模式具有鲁棒性，包括线性频率变化的信号，而这些信号在先前方法中处理效果较差。