[论文解读] Koopman Theory and Linear Approximation Spaces

Andrew J. Kurdila, Parag Bobade|arXiv (Cornell University)|Nov 27, 2018

Model Reduction and Neural Networks参考文献 55被引用 7

一句话总结

本文通过使用线性逼近空间、小波和特征函数，在数据驱动的动力系统中建立了Koopman算子与Perron-Frobenius算子逼近的收敛速率。它将误差分解为逼近误差与样本误差两部分，基于独立同分布采样，推导出半最优收敛速率 $(\log m / m)^{2r/(2r+1)}$，其界依赖于函数的光滑性与逼近空间结构。

ABSTRACT

Koopman theory studies dynamical systems in terms of operator theoretic properties of the Perron-Frobenius operator $\mathcal{P}$ and Koopman operator $\mathcal{U}$ respectively. In this paper, we derive the rates of convergence of approximations of $\mathcal{P}$ or $\mathcal{U}$ that are generated by finite dimensional bases like wavelets, multiwavelets, and eigenfunctions, as well as approaches that use samples of the input and output of the system in conjunction with these bases. We introduce a general class of priors that describe the information available for constructing such approximations and facilitate the error estimates in many applications of interest. These priors are defined in terms of the action of $\mathcal{P}$ or $\mathcal{U}$ on certain linear approximation spaces. The rates of convergence for the estimates of these operators are investigated under a variety of situations that are motivated from associated assumptions in practical applications. When the estimates of these operators are generated by samples, it is shown that the error in approximation of the Perron-Frobenius or Koopman operators can be decomposed into two parts, the approximation error and the sampling error. This result emphasizes that sample-based estimates of Perron-Frobenius and Koopman operators are subject to the well-known trade-off between the bias and variance that contribute to the error, a balance that also features in nonlinear regression and statistical learning theory.

研究动机与目标

• 建立非线性动力系统中Koopman算子与Perron-Frobenius算子逼近的严格收敛速率。
• 刻画数据驱动算子估计中逼近误差与样本误差之间的权衡关系。
• 构建一个基于谱与线性逼近空间的通用框架，以支持在多样化应用中进行误差估计。
• 分析小波、多小波与基于特征函数的基在逼近这些算子时的性能。
• 推导基于采样系统轨迹的EDMD型算法的界，同时考虑估计中的偏差与方差。

提出的方法

• 使用通过Koopman算子或Perron-Frobenius算子作用于线性逼近空间 $A^{r,q}(X)$ 定义的一般类先验，其中 $X$ 是定义在 $\Omega$ 上的函数Banach空间。
• 在希尔伯特空间框架 $U = L^2_\mu(\Omega)$ 与再生核希尔伯特空间（RKHS）上定义函数设定。
• 将误差分解为逼近误差（依赖于函数光滑性与基的选择）与样本误差（依赖于采样分布）。
• 采用能再现分段多项式的正交小波与多小波，将结果与有限元法及样条基伽辽金方法联系起来。
• 分析基于经验回归与精确数据驱动方法的EDMD型算法，通过 $L^2$-范数与上确界范数界定误差。
• 使用浓度不等式控制不良采样结果的概率，表明坏集测度随样本量呈指数衰减。

实验结果

研究问题

• RQ1 当使用小波或特征函数等有限维基时，Koopman算子与Perron-Frobenius算子逼近的收敛速率是什么？
• RQ2 在数据驱动估计中，逼近误差与样本误差之间如何权衡？
• RQ3 在独立同分布采样下，EDMD型算法的最佳可达收敛速率是多少？其如何依赖于函数的光滑性？
• RQ4 如何利用逼近空间结构（如小波、特征函数）推导出紧致的误差界？
• RQ5 能否将基于样本的算子估计误差分解为可解释的组成部分？它们如何随样本量与基维数变化？

主要发现

• 当采用独立同分布样本时，Koopman算子EDMD逼近的误差满足 $\mathbb{E}_{\nu^m}\left(\|\mathcal{U}f - \mathcal{U}^{edmd}_{j,z}f\|_U\right) \lesssim \left(\frac{\log m}{m}\right)^{2r/(2r+1)}$，该结果在 $\log m$ 因子范围内为半最优。
• 当函数 $f$ 属于谱逼近空间 $A^{r,2}(U)$ 时，逼近误差界为 $O(2^{-rj/2})$，反映出对光滑性 $r$ 与分辨率 $j$ 的依赖。
• 样本误差项以高概率被 $\epsilon$ 控制，其中不良样本集合的测度随样本量 $m$ 呈指数衰减。
• 对于属于 $\text{Lip}^*(r, L^\infty(\Omega))$ 的函数，投影误差 $\|(I - \Pi_j)f\|_{L^\infty(\Omega)} \approx 2^{-rj}$，将光滑性与逼近精度联系起来。
• 当输入数据由强混合马尔可夫链生成时，有效样本量 $e(m)$ 取代 $m$ 出现在速率中，得到 $\mathbb{E}_{\mathbb{P}^m_{\{z\}}}\left(\|\mathcal{U}f - \mathcal{U}^{edmd}_{j,z}f\|_U\right) \lesssim \left(\frac{\log e(m)}{e(m)}\right)^{2r/(2r+1)}$。
• 分析结果表明，具有多项式再现性质的小波与多小波基，其逼近速率与伽辽金方法中有限元法及样条法相当。