[論文レビュー] Learning dynamical systems from data: A simple cross-validation perspective, part III: Irregularly-Sampled Time Series

Jong‐Hyeon Lee, Edward De Brouwer+2 more|arXiv (Cornell University)|Nov 25, 2021

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

本論文は、遅延埋め込みを用いて時間差をカーネルに組み込むことで、不規則にサンプリングされた時系列から力学系を学習するためのカーネルフロー（KF）の拡張を提案する。標準KFおよびオイラー法に基づく手法と比較して、特に高レベルの不規則性下でも予測精度が顕著に向上する。本手法は、再生ヒルバート空間（RKHS）内でのカーネルベースの補間により解釈可能性を保ちつつ、シンプルで高速かつロバストなままである。

ABSTRACT

A simple and interpretable way to learn a dynamical system from data is to interpolate its vector-field with a kernel. In particular, this strategy is highly efficient (both in terms of accuracy and complexity) when the kernel is data-adapted using Kernel Flows (KF)\cite{Owhadi19} (which uses gradient-based optimization to learn a kernel based on the premise that a kernel is good if there is no significant loss in accuracy if half of the data is used for interpolation). Despite its previous successes, this strategy (based on interpolating the vector field driving the dynamical system) breaks down when the observed time series is not regularly sampled in time. In this work, we propose to address this problem by directly approximating the vector field of the dynamical system by incorporating time differences between observations in the (KF) data-adapted kernels. We compare our approach with the classical one over different benchmark dynamical systems and show that it significantly improves the forecasting accuracy while remaining simple, fast, and robust.

研究の動機と目的

• 不規則にサンプリングされた時系列に対して標準的なカーネルベースの力学系学習手法が失敗することを解決する。
• 非一様なサンプリングにおけるベクトル場補間の限界を克服するため、フローマップ近似を一般化する。
• カーネルフローの利点を維持しながら不規則な時間間隔に適応する、シンプルで解釈可能かつ効率的な手法を開発する。
• ハネン写像、ヴァン・デル・ポール振動子、ローレンツ系といったカオス的システムにおいて、さまざまな不規則性レベル下で予測性能が向上することを実証する。
• データに適応したカーネルとRKHSフレームワーク内での勾配最適化を活用することで、ロバスト性とスケーラビリティを確保する。

提案手法

• 観測間の時間差を含む遅延埋め込みを導入することで、不規則な時系列にカーネルフロー（KF）を拡張する。
• 観測間隔を入力空間内の追加特徴として直接カーネル構築に組み込む。
• 予測誤差を最小化するための勾配ベース最適化（カーネルフロー）によりカーネルを学習する、修正されたカーネルリッジ回帰フレームワークを用いる。
• 標準的なベクトル場補間手法に代えて、時間に依存する遅延埋め込みを用いて一般化されたフローマップを近似する。
• ミニバッチ確率的勾配降下法（SGD）を用いてカーネルハイパーパrameterを最適化し、RKHSノルムにおける相対誤差を最小化することに焦点を当てる。
• 時間に依存するカーネル設計により、非一様サンプリングに対応できる能力を向上させつつ、元のKFフレームワークのシンプルさと解釈可能性を維持する。

実験結果

リサーチクエスチョン

• RQ1 解釈可能性や計算効率を損なわずに、カーネルフローを不規則にサンプリングされた時系列に効果的に適応できるか。
• RQ2 カーネルに時間差を組み込むことで、標準KFおよびオイラー離散化手法と比較して予測精度がどのように向上するか。
• RQ3 標準KFが失敗するようになる最大時間間隔αの性能劣化閾値は何か。また、提案手法はその問題をどのように緩和するか。
• RQ4 学習率やトレーニングエポック数といったハイパーパrameterの変更に、不規則KFアルゴリズムの性能はどれほど敏感か。
• RQ5 カオス的システムにおいて不規則なサンプリング下でも、長時間予測のためのロバスト性と精度を提案手法が維持できるか。

主な発見

• ハネン写像において、α > 3 の場合、標準KFおよびオイラー法が完全に失敗するが、不規則KFは著しく優れた性能を示す。
• ヴァン・デル・ポール振動子において、不規則KFはα = 7まで正確な予測を維持できるが、標準KFおよびオイラー法はそれより早く失敗する。
• ローレンツ系において、α = 5 のとき、不規則KFはMSE 0.003 ± 0.003、R² 0.967 ± 0.029を達成し、標準KF（MSE: 0.026 ± 0.015、R²: 0.700 ± 0.170）を上回る性能を示す。
• α = 10 のとき、不規則KFのMSEは0.065 ± 0.055（R²: 0.204 ± 0.669）に上昇するが、一部のケースでは依然として標準KF（MSE: 0.028 ± 0.003、R²: 0.679 ± 0.030）を上回る性能を示す。
• 予測ホライズンh = 50の場合、不規則KFはMSE 0.018 ± 0.006、R² 0.791 ± 0.074を達成し、標準KF（MSE: 0.023 ± 0.004、R²: 0.734 ± 0.031）を上回る。
• 学習率η = 0.01が最適な性能をもたらす。η = 0.001では学習が不十分で、η = 0.1では過学習が生じ、両者ともMSEが上昇する。