[論文レビュー] Learning Dynamical Systems via Koopman Operator Regression in Reproducing Kernel Hilbert Spaces

Vladimir R. Kostic, Pietro Novelli+4 more|arXiv (Cornell University)|May 27, 2022

Model Reduction and Neural Networks被引用数 16

ひとこと要約

本稿は、再帰的核ヒルバート空間（RKHS）におけるコープマン作用素回帰のための統計的学習フレームワークを提案する。このフレームワークにより、カーネル法を用いたデータ駆動型力学系モデリングが可能となる。非漸近的学習バウンドを備えた低ランク推定子（RRR）を導入し、混合条件のもとで有効であることを示し、大気質および分子動力学データに対する実験で、ベースライン手法に比べ予測精度とモード分解性能が向上することを示した。

ABSTRACT

We study a class of dynamical systems modelled as Markov chains that admit an invariant distribution via the corresponding transfer, or Koopman, operator. While data-driven algorithms to reconstruct such operators are well known, their relationship with statistical learning is largely unexplored. We formalize a framework to learn the Koopman operator from finite data trajectories of the dynamical system. We consider the restriction of this operator to a reproducing kernel Hilbert space and introduce a notion of risk, from which different estimators naturally arise. We link the risk with the estimation of the spectral decomposition of the Koopman operator. These observations motivate a reduced-rank operator regression (RRR) estimator. We derive learning bounds for the proposed estimator, holding both in i.i.d. and non i.i.d. settings, the latter in terms of mixing coefficients. Our results suggest RRR might be beneficial over other widely used estimators as confirmed in numerical experiments both for forecasting and mode decomposition.

研究の動機と目的

• 力学系の有限軌道からのコープマン作用素回帰のための統計的学習フレームワークを形式化すること。
• コープマン作用素の推定をRKHSにおけるリスク最小化およびスペクトル分解と結びつけること。
• 一般化性能と解釈可能性を向上させるための新規な低ランク推定子（RRR）の開発および分析。
• 混合係数を用いて、i.i.d.および非i.i.d.設定の両方におけるRRR推定子の非漸近的学習バウンドを導出すること。
• 予測およびモード分解タスクにおける実証的検証を通じて、フレームワークの有効性を示すこと。

提案手法

• コープマン作用素を再帰的核ヒルバート空間（RKHS）に制限し、ヒルバート＝シュミット作用素を仮説空間として使用可能にする。
• コープマン作用素回帰をリスク最小化問題として定式化し、リスクをスペクトル分解誤差に関連付ける。
• コープマン作用素推定のランクを制約することで、低ランク作用素回帰（RRR）推定子を導入する。
• 混合過程における測度の集中を用いて学習バウンドを導出し、古典的なi.i.d.結果を非i.i.d.時系列に拡張する。
• 線形、ガウス、および深層畳み込みニューラルネットワークベースのカーネル（例：CNN埋め込み）を用いて、状態観測値をRKHSにマップする。
• 実験において正則化パラメータ選定のため、時系列交差検証（TimeSeriesSplit）およびグリッドサーチを適用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、RKHSを用いた統計的学習フレームワーク内でコープマン作用素回帰を形式化できるか？
• RQ2 コープマン作用素推定子のリスクとそのスペクトル分解の精度の間にはどのような関係があるか？
• RQ3 低ランク推定子（RRR）は、有限で非i.i.d.な軌道からの力学系学習において、一般化性能と性能をどのように向上させるか？
• RQ4 弱依存性（混合）仮定のもとで、コープマン作用素回帰に対する非漸近的学習バウンドを確立できるか？
• RQ5 多様な実世界データセットにおいて、カーネルベースのコープマン推定子は、予測とモード分解においてどのように比較されるか？

主な発見

• 北京の大気質データセットにおいて、正則化パラメータγ=10⁻⁴をグリッドサーチで選択した結果、RRR推定子はPCRおよび他のベースライン手法に比べて、トレーニング誤差とテスト誤差の両方が低かった。
• モード分解により、PM2.5濃度ピークとその後の風速ピークとの間に一貫した2時間の遅れが確認され、汚染拡散に関する物理的直感を裏付けた。
• CNNベースのカーネルは、長時間予測においても優れた予測性能を維持したが、線形およびガウスカーネルは急激に性能を低下させたことから、深層特徴学習の利点が示された。
• 理論的分析により、非i.i.d.設定におけるRRR推定子の非漸近的学習バウンドが確立され、混合過程に関する新規な補題に依拠した。
• フレームワークは、動的モード分解（DMD）および関連手法を特別なケースとして回復でき、統計的学習の観点からそれらを統一した。
• 数値実験により、RRR推定子が予測精度およびモード分解品質の両面で標準的推定子を上回ることが確認された。