[論文レビュー] Koopa: Learning Non-stationary Time Series Dynamics with Koopman Predictors

Yong Liu, Chenyu Li+2 more|arXiv (Cornell University)|May 30, 2023

Model Reduction and Neural Networks被引用数 37

ひとこと要約

Koopa は Fourier Filter を備えたモジュラー Koopman Predictors を導入し、非定常時系列予測のために時間不変ダイナミクスと時間変動ダイナミクスの分離を実現し、競争力のある精度と大幅な効率向上を達成します。

ABSTRACT

Real-world time series are characterized by intrinsic non-stationarity that poses a principal challenge for deep forecasting models. While previous models suffer from complicated series variations induced by changing temporal distribution, we tackle non-stationary time series with modern Koopman theory that fundamentally considers the underlying time-variant dynamics. Inspired by Koopman theory of portraying complex dynamical systems, we disentangle time-variant and time-invariant components from intricate non-stationary series by Fourier Filter and design Koopman Predictor to advance respective dynamics forward. Technically, we propose Koopa as a novel Koopman forecaster composed of stackable blocks that learn hierarchical dynamics. Koopa seeks measurement functions for Koopman embedding and utilizes Koopman operators as linear portraits of implicit transition. To cope with time-variant dynamics that exhibits strong locality, Koopa calculates context-aware operators in the temporal neighborhood and is able to utilize incoming ground truth to scale up forecast horizon. Besides, by integrating Koopman Predictors into deep residual structure, we ravel out the binding reconstruction loss in previous Koopman forecasters and achieve end-to-end forecasting objective optimization. Compared with the state-of-the-art model, Koopa achieves competitive performance while saving 77.3% training time and 76.0% memory.

研究の動機と目的

• Koopman 理論を用いて、非定常時系列における時間変動ダイナミクスと時間不変ダイナミクスを分離する。
• Fourier Filter を用いてダイナミクスを分離する、モジュラーで階層的な Koopman ベースの予報モデル（Koopa）を開発する。
• Koopa Predictors を深層残差アーキテクチャへ組み込み、エンドツーエンドの予測を可能にする。
• グローバルに共有された演算子と局所的に適応した演算子を活用して、予測のホライズンのスケーラビリティを改善する。

提案手法

• 入力を Fourier Filter で時間不変成分 (X_inv) と時間変動成分 (X_var) に分割する。
• 時間不変の KP を実装してグローバルな Koopman 埋め込みと線形演算子 (K_inv) を学習する。
• 時間変動の KP を実装して、ルックバック窓内の局所演算子 (K_var) をセグメントごとの埋め込みを用いて計算する。
• Koopa Blocks を積み重ねて、残差を次のブロックへ送り出し出力を合計することで階層的ダイナミクスを学習する。
• Y とグラウンドトゥルースのエンドツーエンドの MSE 目的関数で訓練し、Koopman Autoencoder に一般的な再構成損失を回避する。
• 学習済みの成分を凍結し、受信するグラウンドトゥルースのスナップショットで K_var を適応させることで、予測ホライズンのスケーリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 Koopman-based predictors は非定常時系列における時間不変ダイナミクスと時間変動ダイナミクスを効果的に分離・モデリングできるか。
• RQ2 モジュール式で階層的な Koopman Predictors は最新手法と比較して予測性能と効率を改善するか。
• RQ3 ground-truth 適応演算子の更新を活用して、より長い予測ホライズンにモデルをスケールさせることができるか。
• RQ4 Fourier-based disentanglement が時間的依存性の変動を捉える上でどのような影響を与えるか。
• RQ5 Koopa は既存の Koopman ベース予報器や深層学習ベースの基線と実世界データセットでどのように比較されるか。

主な発見

• Koopa は六つの現実世界の多変量ベンチマークで競争力のある予測性能を達成し、M4 における単変量の結果も高い。
• Koopa は PatchTST に比べて学習時間を大幅に削減（データセット間の平均 22.7%）、メモリ使用量も大幅に削減（平均 24.0%）を実現。
• 時間変動 KP 成分と時間不変 KP 成分は補完的であり、いずれかを除くと性能が低下する。
• Fourier Filter ベースの disentanglement は、時間変動成分においてより大きな変動を明らかにし、設計の選択を裏付ける。
• グラウンドトゥルース駆動の演算子適応機構は、特に非定常データでホライズンのスケーリングを改善する。