[論文レビュー] Frequency Adaptive Normalization For Non-stationary Time Series Forecasting

Weiwei Ye, Songgaojun Deng+2 more|arXiv (Cornell University)|Sep 30, 2024

Stock Market Forecasting MethodsDecision Sciences被引用数 3

ひとこと要約

本稿では、周波数適応正則化（FAN）を提案する。FANは、非定常時系列における動的トレンドおよび季節成分を同定・除去するためにインスタンス単位のフーリエ変換を用いる、モデルに依存しない正則化手法である。単純なMLPを用いて主要周波数成分の変化をモデル化することで、8つのベンチマークデータセットにおいて4つのバックボーンモデルで予測性能が向上し、平均MSEが7.76%から37.90%まで低減された。

ABSTRACT

Time series forecasting typically needs to address non-stationary data with evolving trend and seasonal patterns. To address the non-stationarity, reversible instance normalization has been recently proposed to alleviate impacts from the trend with certain statistical measures, e.g., mean and variance. Although they demonstrate improved predictive accuracy, they are limited to expressing basic trends and are incapable of handling seasonal patterns. To address this limitation, this paper proposes a new instance normalization solution, called frequency adaptive normalization (FAN), which extends instance normalization in handling both dynamic trend and seasonal patterns. Specifically, we employ the Fourier transform to identify instance-wise predominant frequent components that cover most non-stationary factors. Furthermore, the discrepancy of those frequency components between inputs and outputs is explicitly modeled as a prediction task with a simple MLP model. FAN is a model-agnostic method that can be applied to arbitrary predictive backbones. We instantiate FAN on four widely used forecasting models as the backbone and evaluate their prediction performance improvements on eight benchmark datasets. FAN demonstrates significant performance advancement, achieving 7.76% ~ 37.90% average improvements in MSE.

研究の動機と目的

• 時間領域統計（例：平均、分散）に依存する既存の逆変換可能インスタンス正則化手法が、変化する季節パターンを捉えられないという限界を是正すること。
• 時系列データにおける非定常トレンドおよび季節成分を効果的にモデル化できる正則化技術を開発すること。
• 既存の予測バックボーンに統合可能で、性能向上を実現するモデルに依存しない正則化手法を実現すること。
• 入力から出力への非定常パターンの変化を明示的にモデル化することにより、それらが一定であると仮定するのではなく、動的変化を捉えること。

提案手法

• FANは、各入力系列から上位K個の主要周波数成分を抽出するためにインスタンス単位のフーリエ変換を適用する。これにより、主な非定常要因が表現される。
• 入力からこれらの主要周波数成分を除去することで正則化を行い、入力データの非定常性を低減する。
• パターン適応モジュールとして単純なMLPを実装し、入力系列から出力系列への上位K個の周波数成分の変化を予測する。
• 予測された周波数成分を用いて出力を再構築することで、微分可能かつ学習可能な形で非定常構造を回復する。
• 本手法はモデルに依存しないように設計されており、時系列予測のための任意のディープラーニングバックボーンと統合可能である。
• 本手法は入力と出力の周波数成分の差異を明示的にモデル化しており、非定常ダイナミクスへの一般化性能を向上させている。

実験結果

リサーチクエスチョン

• RQ1 時間領域統計よりも、フーリエ変換による周波数ドメイン表現が、変化するトレンドや季節パターンといった非定常成分をより効果的に捉えることができるか？
• RQ2 学習可能な周波数適応モジュールは、時間ステップにわたる非定常パターンの変化をどれほど効果的にモデル化できるか？
• RQ3 FANのようなモデルに依存しない正則化手法が、多様な予測バックボーンおよびデータセットにおいてどれほど性能向上を達成できるか？
• RQ4 FANは、平均と分散にのみ依存する従来の正則化手法よりも、複雑な非定常時系列を処理する際に優れているか？

主な発見

• FANは、4つの異なる予測バックボーンに適用した結果、8つのベンチマークデータセットで平均MSEが7.76%から37.90%まで改善された。
• 本手法は、平均や分散にのみ依存する既存の逆変換可能インスタンス正則化手法を著しく上回った。
• 単純なMLPで実装されたパターン適応モジュールは、入力から出力への主要周波数成分の変化を効果的に捉え、予測精度を向上させた。
• FANは、交通、電力、為替レート、気象予測など多様な分野で一貫した性能向上を示した。
• アブレーションスタディの結果、周波数ベースの正則化は時間領域正則化よりも非定常ダイナミクスを捉えるのに優れていることが確認された。
• 本手法は、異なる系列長や非定常パターンに対してもロバストであり、線形的に変化する周波数を持つ信号に対しても、従来のアプローチが不十分に扱う問題を効果的に解決した。