[論文レビュー] FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forecasting

Tian Zhou, Ziqing Ma+6 more|arXiv (Cornell University)|May 18, 2022

Stock Market Forecasting Methods被引用数 103

ひとこと要約

FiLM は Frequency Improved Legendre Memory Model を導入し、Legendre 投影と Fourier ベースのノイズ低減および低ランク近似を組み合わせて長期予測の履歴を頑健に保持し、複数のデータセットで最先端の結果を達成します。

ABSTRACT

Recent studies have shown that deep learning models such as RNNs and Transformers have brought significant performance gains for long-term forecasting of time series because they effectively utilize historical information. We found, however, that there is still great room for improvement in how to preserve historical information in neural networks while avoiding overfitting to noise presented in the history. Addressing this allows better utilization of the capabilities of deep learning models. To this end, we design a extbf{F}requency extbf{i}mproved extbf{L}egendre extbf{M}emory model, or {\bf FiLM}: it applies Legendre Polynomials projections to approximate historical information, uses Fourier projection to remove noise, and adds a low-rank approximation to speed up computation. Our empirical studies show that the proposed FiLM significantly improves the accuracy of state-of-the-art models in multivariate and univariate long-term forecasting by ( extbf{20.3\%}, extbf{22.6\%}), respectively. We also demonstrate that the representation module developed in this work can be used as a general plug-in to improve the long-term prediction performance of other deep learning modules. Code is available at https://github.com/tianzhou2011/FiLM/

研究の動機と目的

• ノイズを抑制しつつ、有用な過去情報を保持することで、堅牢な長期時系列予測を実現する。
• 周波数領域のフィルタリングを強化した Legendre 投影に基づく表現フレームワークを開発し、予測精度を向上させる。
• 長期予測のさまざまなバックボーンを改善するプラグインとして機能するモジュール化アーキテクチャ（LPU と FEL）を作成する。
• FiLM が多様な実データセットにおいて優れた精度と効率を達成することを実証し、その構成要素の影響を分析する。

提案手法

• Legendre 多項式投影を用いて、Legendre Projection Unit (LPU) を介して固定サイズのメモリを更新し、履歴情報を圧縮する。
• Frequency Enhanced Layer (FEL) を組み込み、フーリエ解析と低ランク近似の組み合わせを通じて次元削減とノイズ低減を行う。
• 異なる時間スケール（T、2T、...、nT）で情報を捉える多重尺度エキスパートの混合を活用する。
• 頑健性を向上させるために任意で RevIN データ正規化を適用するが、学習が遅くなる可能性を認識している。
• Legendre 投影の精度、ノイズ蓄積、部分的な Fourier ベース係数サンプリングの有効性を結ぶ理論的結果（定理1–3）を提供する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い過去データに過剰適合せず、長期予測のために歴史情報をどのように保持できるか？
• RQ2 周波数領域の層は Legendre ベースの表現を効果的にデノイズして予測精度を向上させることができるか？
• RQ3 多重尺度エキスパートの混合は領域を超えた長期予測を改善するか？
• RQ4 FiLM は既存の予測バックボーンを Legendre-FEL 表現で改善するプラグインとして機能するか？

主な発見

• FiLM は六つのベンチマークデータセットに対して、多変量および単変量の長期予測のいずれでも最先端モデルを大幅に上回る予測精度を示す。
• 実験を通じて、FiLM は FEDformer と比較して多変量予測で最大 20.3% の相対 MSE 削減、単変量予測で最大 22.6% の相対 MSE 削減を達成する。
• FEL の低ランク近似により学習可能パラメータが最小で 0.1%–0.4% まで削減され、微小な精度低下とともに大幅なメモリ節約を可能にする。
• LPU 層はバックボーン（MLP、LSTM、CNN、Attention）全般にブースト効果を提供し、しばしば同等の線形ベースラインを上回る。
• 通常の多尺度構造は一貫してパフォーマンスを向上させ、RevIN は任意でありデータセットに依存して効果が異なる。