[论文解读] Limits and Powers of Koopman Learning

Matthew Colbrook, Igor Mezić+1 more|arXiv (Cornell University)|Jul 8, 2024

Neural Networks and Applications被引用 4

一句话总结

本文確立了從動力系統軌跡數據學習 Koopman 算子譜性質的基礎理論極限，證明即使在數據無限的情況下，某些在環面上的平滑系統仍無法被任何演算法學習，這是由於固有的幾何與複雜度障礙所致。本文提出最佳且可驗證的演算法，克服標準方法中的收斂問題，並基於可計算極限，建立一個明確的分類框架，統一先前的方法。

ABSTRACT

Dynamical systems provide a comprehensive way to study complex and changing behaviors across various sciences. Many modern systems are too complicated to analyze directly or we do not have access to models, driving significant interest in learning methods. Koopman operators have emerged as a dominant approach because they allow the study of nonlinear dynamics using linear techniques by solving an infinite-dimensional spectral problem. However, current algorithms face challenges such as lack of convergence, hindering practical progress. This paper addresses a fundamental open question: extit{When can we robustly learn the spectral properties of Koopman operators from trajectory data of dynamical systems, and when can we not?} Understanding these boundaries is crucial for analysis, applications, and designing algorithms. We establish a foundational approach that combines computational analysis and ergodic theory, revealing the first fundamental barriers -- universal for any algorithm -- associated with system geometry and complexity, regardless of data quality and quantity. For instance, we demonstrate well-behaved smooth dynamical systems on tori where non-trivial eigenfunctions of the Koopman operator cannot be determined by any sequence of (even randomized) algorithms, even with unlimited training data. Additionally, we identify when learning is possible and introduce optimal algorithms with verification that overcome issues in standard methods. These results pave the way for a sharp classification theory of data-driven dynamical systems based on how many limits are needed to solve a problem. These limits characterize all previous methods, presenting a unified view. Our framework systematically determines when and how Koopman spectral properties can be learned.

研究动机与目标

• 回答根本性問題：何時能從軌跡數據穩健地學習 Koopman 算子的譜性質，何時不能？
• 識別根植於系統幾何與複雜度的普遍演算法障礙，與數據品質或數量無關。
• 基於解決問題所需極限數量，建立資料驅動動力系統的分類理論。
• 開發最佳且可驗證的演算法，克服標準 Koopman 學習方法中的收斂失敗。
• 透過計算極限與譜收斂的框架，統一並表徵所有先前的 Koopman 學習方法。

提出的方法

• 結合計算分析與遍歷理論，推導學習 Koopman 譜性質的下界。
• 構造反例家族的動力系統——如單位圓盤上的保測度映射、平滑化區間交換映射、環面上的斜積——在這些系統中譜學習普遍失敗。
• 使用雙極限程序，特別是離散時間 RAGE 定理，從軌跡數據中提取純點譜分量。
• 採用雙極限演算法框架：首先取投影維度 $ n \to \infty $ 的極限，再取時間延遲 $ L \to \infty $ 的極限，以驗證譜收斂。
• 應用自適應程序以最小化注入模數 $ \sigma_{\mathrm{inf}}(\mathcal{K}_F - zI) $，確保收斂至真實譜且具備誤差界。
• 使用蒙特卡洛積分法，採用 $ M = 50,000 $ 個快照與 $ N = 500 $ 個徑向基函數，計算偽譜並驗證收斂性。

实验结果

研究问题

• RQ1 是否存在任何演算法，能穩健地從軌跡數據中學習 Koopman 算子的譜性質，而不受數據數量影響？
• RQ2 由系統幾何與複雜度所導致的普遍且內在的學習障礙是什麼？
• RQ3 對於哪些類型的動力系統，Koopman 譜學習可被證明具有收斂保證？
• RQ4 如何根據計算其譜性質所需極限數量，對資料驅動動力系統進行分類？
• RQ5 我們能否構造最佳演算法，以驗證收斂性並克服 EDMD 等標準方法的失敗？

主要发现

• 存在平滑且行為良好的環面動力系統，其 Koopman 算子的非平凡特徵函數無法被任何演算法學習，即使數據無限。
• 在單位圓盤上的保測度系統中，利用同胚構造的反例可使任何演算法即使在無限數據下也無法收斂至真實譜。
• 在具有自相似導數切換的系統中（例如平滑化區間交換映射），近似譜在不同環形區域間交替，導致無法收斂。
• 對於環面上的斜積系統，譜類型取決於是否存在具有恆定截面的鄰域，而此性質通常無法被任何演算法學習。
• 透過離散時間 RAGE 定理應用雙極限程序 $ \lim_{n\to\infty} \lim_{L\to\infty} $，成功提取純點譜，其結果與 $ Re = 13,000 $ 時 lid-driven cavity flow 的已知譜測度相符。
• 基於最小化注入模數的自適應演算法均勻收斂至真實譜，且誤差隨 $ N \to \infty $ 收斂至零，與 EDMD 不同，後者無法收斂。