[論文レビュー] Sharp Spectral Rates for Koopman Operator Learning

Vladimir R. Kostic, Karim Lounici+2 more|arXiv (Cornell University)|Feb 3, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿は、拡張動的モード分解（EDMD）と低ランク回帰（RRR）を用いて、Koopman作用素固有値および固有関数の非漸近的学習境界を初めて提示する。メトリック歪みを作用素ノルム誤差に加えて重要な要因として導入し、EDMDがRRRに比べて高いバイアスを示すことが判明した。これは、実際の応用においてEDMDが遅い収束速度と偽の固有値に脆弱である理由を説明する。

ABSTRACT

Nonlinear dynamical systems can be handily described by the associated Koopman operator, whose action evolves every observable of the system forward in time. Learning the Koopman operator and its spectral decomposition from data is enabled by a number of algorithms. In this work we present for the first time non-asymptotic learning bounds for the Koopman eigenvalues and eigenfunctions. We focus on time-reversal-invariant stochastic dynamical systems, including the important example of Langevin dynamics. We analyze two popular estimators: Extended Dynamic Mode Decomposition (EDMD) and Reduced Rank Regression (RRR). Our results critically hinge on novel {minimax} estimation bounds for the operator norm error, that may be of independent interest. Our spectral learning bounds are driven by the simultaneous control of the operator norm error and a novel metric distortion functional of the estimated eigenfunctions. The bounds indicates that both EDMD and RRR have similar variance, but EDMD suffers from a larger bias which might be detrimental to its learning rate. Our results shed new light on the emergence of spurious eigenvalues, an issue which is well known empirically. Numerical experiments illustrate the implications of the bounds in practice.

研究の動機と目的

• 時間反転不変な確率的力学系におけるKoopman固有値および固有関数の非漸近的学習境界を確立すること。
• スペクトル推定誤差の観点から、EDMDおよびRRR推定子の統計的性能を分析すること。
• Koopman作用素学習における偽の固有値の原因を、特にバイアスおよびメトリック歪みの観点から特定すること。
• 新たな誤差境界を用いて、データから偽の固有値を検出する理論的枠組みを提供すること。
• 有限ランクKoopman作用素に対して、ミニマックス最適な作用素ノルム誤差境界を導出すること。

提案手法

• RKHSと周囲の$L^2_\pi$空間間の固有関数のノルム変化を定量化するための新規なメトリック歪み関数を導入する。
• 有限ランク作用素に対してミニマックス最適性を達成する、作用素ノルム誤差の鋭い非漸近的境界を導出する。
• 摂動理論およびスペクトル分解を用いて、固有値および固有ベクトル推定誤差を作用素ノルム誤差およびメトリック歪みの関数として境界付ける。
• PCR経由でEDMDおよびRRRに境界を適用し、RRRが低いバイアスおよびより優れた収束速度を示すことを示す。
• 定理4のスペクトル境界に基づく、データ駆動型の偽の固有値検出手法を提案する。
• 集中不等式およびランダム行列理論を用いて、高次元かつ有限標本設定における誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 EDMDとRRRのスペクトル推定誤差は、バイアスと分散の観点でどのように比較されるか？
• RQ2 メトリック歪みは、Koopman固有関数推定の精度にどのような役割を果たすか？
• RQ3 作用素ノルム誤差が小さいにもかかわらず、なぜ偽の固有値が出現するのか？
• RQ4 提案された境界は、有限データから偽の固有値を検出するために使用可能か？
• RQ5 一般の正則性条件下で、Koopman固有値および固有関数の鋭い非漸近的収束速度は何か？

主な発見

• EDMDはRRRに比べて大きなバイアスを示し、分散が類似しているにもかかわらず、スペクトル学習速度が遅い。
• 作用素ノルム誤差は、正則性条件の下で$O(n^{-\frac{\alpha}{2(\alpha+\beta)}})$のスケーリングを達成するミニマックス最適性で最小化される。
• メトリック歪みはスペクトル誤差制御に不可欠であり、無視すると偽の固有値が存在しても誤差が誤って小さく見えることがある。
• 偽の固有値は、推定固有値が真のKoopman固有値と一致しない場合に発生するが、これは高いメトリック歪みとバイアスによって説明される。
• Langevin力学系における数値実験では、RRRがEDMDよりも固有値および固有関数誤差が低く、固有値の衰減率は約$n^{-0.35}$、固有関数の衰減率は約$n^{-0.45}$であることが確認された。
• 定理4に基づく提案手法は、カーネル選択と誤差しきい値処理を用いて、アラニンジペプチドデータセットで偽の固有値を効果的に同定した。