[论文解读] Frequency-domain MLPs are More Effective Learners in Time Series Forecasting

Kun Yi, Qi Zhang+8 more|arXiv (Cornell University)|Nov 10, 2023

Stock Market Forecasting Methods被引用 91

一句话总结

FreTS 引入频域 MLP，配备两个学习者（通道和时序）以学习时间序列预测的全局光谱依赖，在 13 个真实世界基准测试中相对于最先进的基线取得更优的结果。

ABSTRACT

Time series forecasting has played the key role in different industrial, including finance, traffic, energy, and healthcare domains. While existing literatures have designed many sophisticated architectures based on RNNs, GNNs, or Transformers, another kind of approaches based on multi-layer perceptrons (MLPs) are proposed with simple structure, low complexity, and {superior performance}. However, most MLP-based forecasting methods suffer from the point-wise mappings and information bottleneck, which largely hinders the forecasting performance. To overcome this problem, we explore a novel direction of applying MLPs in the frequency domain for time series forecasting. We investigate the learned patterns of frequency-domain MLPs and discover their two inherent characteristic benefiting forecasting, (i) global view: frequency spectrum makes MLPs own a complete view for signals and learn global dependencies more easily, and (ii) energy compaction: frequency-domain MLPs concentrate on smaller key part of frequency components with compact signal energy. Then, we propose FreTS, a simple yet effective architecture built upon Frequency-domain MLPs for Time Series forecasting. FreTS mainly involves two stages, (i) Domain Conversion, that transforms time-domain signals into complex numbers of frequency domain; (ii) Frequency Learning, that performs our redesigned MLPs for the learning of real and imaginary part of frequency components. The above stages operated on both inter-series and intra-series scales further contribute to channel-wise and time-wise dependency learning. Extensive experiments on 13 real-world benchmarks (including 7 benchmarks for short-term forecasting and 6 benchmarks for long-term forecasting) demonstrate our consistent superiority over state-of-the-art methods.

研究动机与目标

• 在保持简单、低复杂度的 MLP 的同时，激发时间序列预测的研究，并解决点对点映射与信息瓶颈的局限性。
• 提出一个频域学习框架（FreTS），利用全局光谱视图和能量压缩来捕捉依赖关系。
• 设计两个在变换后的频率分量上运行的频率学习器（通道与时序），用于建模序列之间和序列内部的动态。
• 在13个真实世界数据集上证明 FreTS 的有效性和高效性，并与最前沿方法进行比较。
• 提供消融和兼容性分析，以验证 FreMLP 和两个频率学习器的贡献。

提出的方法

• 通过离散傅里叶变换（DFT）将时域输入转换到频域，得到实部/虚部分量。
• 应用两个频率学习器：频率通道学习器（处理通道间依赖）和频率时序学习器（处理时序依赖），在频率表示上运行。
• 使用 FreMLP（复值 MLP）分别在实部和虚部学习映射，并将它们组合以形成频域输出。
• 在通道和时间维度上执行域转换与反转，以实现光谱学习及之后重建回时域。
• 用一个可学习的维度扩展块扩展输入，以在频域处理前丰富表示。
• 以两层投影（前馈网络）生成最终的预测区间，避免误差累积。

(a) Left : time domain. Right : frequency domain.

实验结果

研究问题

• RQ1 在短期和长期基准上，FreTS 相较于最先进的预测模型的表现如何？
• RQ2 频率通道学习器与频率时序学习器对 FreTS 性能的贡献分别是什么？
• RQ3 将 FreMLP 集成到现有的基于 MLP 的预测模型中是否能带来可衡量的提升？
• RQ4 相较于 Transformer 和 GNN 为基线的 FreTS 的效率特征是什么？

主要发现

• FreTS 在 13 个真实世界数据集的短期与长期预测中都持续优于基线。
• 在消融研究中，频率通道学习器对短期预测有显著帮助，而频率时序学习器在长期预测方面表现出较强的效果。
• 在 DLinear 和 NLinear 中用 FreMLP 取代传统 MLP，带来跨数据集的性能提升（如 Exchange 与 Weather）。
• FreTS 展示出良好的效率，复杂度为 O(N log N + L log L)，相较于若干 Transformer- 与 GNN 基于方法，参数量和训练时间有所减少。
• 跨通道和时间维度的两阶段域方法（域转换与反转）使得能学习全局光谱依赖和能量聚焦表示，从而提升预测性能。

(b) Left : time domain. Right : frequency domain.