[论文解读] FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forecasting

Tian Zhou, Ziqing Ma+6 more|arXiv (Cornell University)|May 18, 2022

Stock Market Forecasting Methods被引用 103

一句话总结

FiLM 引入了一个 Frequency Improved Legendre Memory Model，它将 Legendre 投影与基于 Fourier 的降噪和低秩近似相结合，以稳健地保留历史用于长期预测，在多个数据集上实现了最先进的结果。

ABSTRACT

Recent studies have shown that deep learning models such as RNNs and Transformers have brought significant performance gains for long-term forecasting of time series because they effectively utilize historical information. We found, however, that there is still great room for improvement in how to preserve historical information in neural networks while avoiding overfitting to noise presented in the history. Addressing this allows better utilization of the capabilities of deep learning models. To this end, we design a extbf{F}requency extbf{i}mproved extbf{L}egendre extbf{M}emory model, or {\bf FiLM}: it applies Legendre Polynomials projections to approximate historical information, uses Fourier projection to remove noise, and adds a low-rank approximation to speed up computation. Our empirical studies show that the proposed FiLM significantly improves the accuracy of state-of-the-art models in multivariate and univariate long-term forecasting by ( extbf{20.3\%}, extbf{22.6\%}), respectively. We also demonstrate that the representation module developed in this work can be used as a general plug-in to improve the long-term prediction performance of other deep learning modules. Code is available at https://github.com/tianzhou2011/FiLM/

研究动机与目标

• 以在保留有用历史信息的同时抑制噪声来推动鲁棒的长期时间序列预测。
• 基于更高频域滤波的 Legendre 投影表示框架以提高预测准确性。
• 创建一个模块化架构（LPU 和 FEL），可作为插件来提升各种长期预测骨干网络的性能。
• 证明 FiLM 在多样化真实世界数据集上具有优越的准确性和效率，并分析其组件的影响。

提出的方法

• 使用 Legendre 多项式投影通过 Legendre Projection Unit (LPU) 压缩历史信息并更新固定大小的记忆。
• 结合 Frequency Enhanced Layer (FEL)，通过傅里叶分析与低秩近似的组合来降低维度和噪声。
• 利用多尺度专家混合来捕捉不同时间尺度（T、2T、...、nT）上的信息。
• 可选应用 RevIN 数据归一化以提高鲁棒性，需注意可能会降低训练速度。
• 给出理论结果（定理 1–3），将 Legendre 投影精度、噪声积累与基于部分傅里叶系数采样的有效性联系起来。

实验结果

研究问题

• RQ1 如何在不对噪声历史数据过拟合的情况下保留用于长期预测的历史信息？
• RQ2 频域层是否能有效降噪基于 Legendre 的表示以提高预测准确性？
• RQ3 多尺度专家混合是否在跨领域的长期预测中提升预测效果？
• RQ4 FiLM 能否作为插件来改进现有骨干网络的 Legendre-FEL 表示？

主要发现

• FiLM 在六个基准数据集上对多变量和单变量的长期预测均显著提升了预测准确性，相对于最先进模型。
• 在各组实验中，FiLM 相对于 FEDformer 在多变量预测中的相对 MSE 下降高达 20.3%，在单变量预测中的相对 MSE 下降高达 22.6%。
• FEL 中的低秩近似将可学习参数降低到仅 0.1%–0.4%，且精度损失很小，从而实现显著的内存节省。
• LPU 层对骨干网络（MLP、LSTM、CNN、Attention）有提升作用，且往往优于可比的线性基线。
• 常规的多尺度结构普遍提升性能，而 RevIN 是可选的且在数据集上效果存在差异。