[論文レビュー] Koopman Neural Forecaster for Time Series with Temporal Distribution Shifts

Rui Wang, Yihe Dong+2 more|arXiv (Cornell University)|Oct 7, 2022

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、時系列予測における時間的分布シフトを改善するためにコプマン理論を活用する深層学習モデル、Koopman Neural Forecaster (KNF) を提案する。可学習係数と事前に定義された測定関数を組み合わせ、グローバルおよびローカルのコプマン作用素を用い、動的適応を可能にするフィードバックループを統合することで、M4、暗号通貨リターン、NBA選手の軌跡といった非定常データセットにおいて最先端の性能を達成するとともに、スペクトル分解を用いた解釈可能な分析を可能にする。

ABSTRACT

Temporal distributional shifts, with underlying dynamics changing over time, frequently occur in real-world time series and pose a fundamental challenge for deep neural networks (DNNs). In this paper, we propose a novel deep sequence model based on the Koopman theory for time series forecasting: Koopman Neural Forecaster (KNF) which leverages DNNs to learn the linear Koopman space and the coefficients of chosen measurement functions. KNF imposes appropriate inductive biases for improved robustness against distributional shifts, employing both a global operator to learn shared characteristics and a local operator to capture changing dynamics, as well as a specially-designed feedback loop to continuously update the learned operators over time for rapidly varying behaviors. We demonstrate that \ours{} achieves superior performance compared to the alternatives, on multiple time series datasets that are shown to suffer from distribution shifts.

研究の動機と目的

• 連続的な時間的分布シフトを伴う時系列における長期予測の課題に取り組むこと。これは、従来の深層学習モデルが非定常性のため苦労する分野である。
• コプマン理論による誘導的バイアスの埋め込みを通じて、非定常環境におけるロバスト性と一般化性能の向上を図ること。
• コプマン作用素のスペクトル解析を通じて、複雑で変化し続けるダイナミクスの解釈可能なモデリングを可能にすること。
• 予測誤差に基づいてコプマン作用素を継続的に更新するフィードバックメカニズムを構築し、再トレーニングなしで急激に変化するデータ分布に適応すること。
• 実世界の非定常時系列ベンチマークにおいて、既存の深層学習および統計モデルを上回る性能を発揮すること。

提案手法

• KNFは、エンコーダ・デコーダネットワークとコプマン作用素を組み合わせたハイブリッドアーキテクチャを採用し、事前に定義された測定関数（例：多項式、指数関数）上で作用させることで、非線形ダイナミクスを線形にモデル化する。
• グローバルコプマン作用素は、時系列全体に共通する長期的パターンを捉え、ローカルコプマン作用素は短期的かつ分布固有の変化に適応する。
• 学習可能な係数を用いて時系列をコプマン空間に射影することで、持ち上げられた空間における線形ダイナミクスを実現するとともに、非線形表現力も保持する。
• フィードバックループにより、予測誤差に基づいてコプマン作用素を継続的に更新し、再トレーニングなしで非定常ダイナミクスに適応可能にする。
• 訓練の安定化と分布シフトにおける一般化性能の向上を図るため、Reversible Instance Normalization (ReVIN) を統合する。
• コプマン作用素のスペクトル解析により、トレンド、季節性、または振動的挙動に対応する主要な固有値と固有関数を特定し、解釈可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 コプマン理論を深層学習と効果的に組み合わせることで、時間的分布シフトを伴う非定常時系列をモデル化できるか？
• RQ2 事前に定義された測定関数と学習可能な係数は、分布シフト下での低サンプルレジームにおいて一般化性能をどのように向上させるか？
• RQ3 二重作用素構造（グローバル＋ローカル）は、共通ダイナミクスと進化するダイナミクスの両方のモデリングをどの程度向上させるか？
• RQ4 フィードバックループは、継続的な分布シフト下で長期予測の正確性をどの程度維持できるか？
• RQ5 コプマン作用素のスペクトル解析は、時間的系列ダイナミクスの背後にある本質的な洞察を意味的に解釈可能に提供できるか？

主な発見

• KNFはM4データセットにおいて最先端の性能を達成し、全コンponents（フィードバックおよびグローバル作用素を含む）を用いた場合、週次サブセットのsMAPEを7.254まで低下させた。
• アブレーションスタディの結果、ReVIN、グローバル作用素、フィードバックループを追加することで、ベースモデル（sMAPE: 14.175 → 7.254）の性能が顕著に向上した。
• フィードバックループを除去したモデルでは、数ステップ後に予測精度が急速に低下した。これは、フィードバックループが長期的ロバスト性において極めて重要な役割を果たしていることを示している。
• KNFは個々の固有関数を用いて時系列を再構築でき、一部の固有関数はトレンドを捉え、他の固有関数は季節性をモデル化しており、スペクトル解析による解釈可能性が裏付けられた。
• 合成オシレータ系において、KNFは異なる初期条件および多項式辞書に対して良好に一般化でき、既知のダイナミクスを学習できる能力を検証した。
• 暗号通貨リターン予測やNBA選手の軌跡予測といった挑戦的な非定常データセットにおいて、強力なベースラインを上回る性能を発揮した。これは、KNFの実用的有用性を確認するものである。