[论文解读] Approximations of the Reproducing Kernel Hilbert Space (RKHS) Embedding Method over Manifolds

Jia Guo, Sai Tej Paruchuri+1 more|arXiv (Cornell University)|Jul 13, 2020

Model Reduction and Neural Networks参考文献 31被引用 4

一句话总结

该论文为非线性常微分方程中未知函数的再生核希尔伯特空间（RKHS）嵌入方法的有限维近似建立了收敛性保证，并推导了收敛速率。通过将RKHS嵌入到索博列夫空间中，并利用紧致子流形上样本的填充距离分析近似误差，作者表明误差随样本数量的幂次衰减，其速率取决于核函数的光滑性与索博列夫正则性。

ABSTRACT

The reproducing kernel Hilbert space (RKHS) embedding method is a recently introduced estimation approach that seeks to identify the unknown or uncertain function in the governing equations of a nonlinear set of ordinary differential equations (ODEs). While the original state estimate evolves in Euclidean space, the function estimate is constructed in an infinite-dimensional RKHS that must be approximated in practice. When a finite-dimensional approximation is constructed using a basis defined in terms of shifted kernel functions centered at the observations along a trajectory, the RKHS embedding method can be understood as a data-driven approach. This paper derives sufficient conditions that ensure that approximations of the unknown function converge in a Sobolev norm over a submanifold that supports the dynamics. Moreover, the rate of convergence for the finite-dimensional approximations is derived in terms of the fill distance of the samples in the embedded manifold. Numerical simulation of an example problem is carried out to illustrate the qualitative nature of convergence results derived in the paper.

研究动机与目标

• 在支持动力学的子流形上，建立RKHS有限维近似在索博列夫范数下收敛的充分条件。
• 以流形上采样数据点的填充距离为基准，量化RKHS嵌入估计器的收敛速率。
• 通过在索博列夫空间中分析近似误差，弥合理论上的无限维RKHS估计与实际有限维计算之间的差距。
• 通过在具有已知一维不变流形的非线性常微分方程上进行数值模拟，验证理论收敛速率。

提出的方法

• 通过将RKHS嵌入到索博列夫空间 $W^{\tau,2}$(\rdd)$ 中，重新表述RKHS嵌入方法，利用已知的马特ern核嵌入结果。
• 通过算子 $I - \mathbf{P}_{\Omega_n}$ 分析近似误差，该算子表示对由采样点处核函数张成的有限维子空间 $H_{\Omega_n}$ 的投影误差。
• 应用径向基函数插值的索博列夫误差界，推导出在流形上受限函数的 $W^{\mu,2}(\Omega)$-范数下的收敛速率。
• 填充距离 $h_{\Omega_n,\Omega}$（即流形上任意点到最近采样点的最大距离）被用作收敛速率分析中的关键参数。
• 分析假设轨迹在流形上是持续激励的（PE），以确保采样集 $\Omega_n$ 最终能稠密地填满流形。
• 数值实验使用在一条一维不变流形 $\Omega = \{x \in \mathbb{R}^2 : \Phi(x) = -0.1\}$ 上均匀采样的点，采用阶数为 $\nu = 3/2$ 和 $\nu = 5/2$ 的马特ern核。

实验结果

研究问题

• RQ1 在何种条件下，RKHS嵌入估计器的有限维近似在子流形上的索博列夫范数下收敛？
• RQ2 收敛速率如何依赖于流形上采样点的填充距离？
• RQ3 核函数的光滑性（通过 $\nu$ 表示）与在索博列夫范数和连续范数下的收敛速率之间有何关系？
• RQ4 能否通过具有已知不变流形的非线性常微分方程进行数值实验，验证理论收敛速率？
• RQ5 核函数的选择（如马特ern核）如何影响RKHS在索博列夫空间中的嵌入及其导致的近似误差？

主要发现

• 随着填充距离 $h_{\Omega_n,\Omega}$ 的减小，RKHS嵌入估计器的有限维近似在 $W^{\mu,2}(\Omega)$-范数下收敛。
• 收敛速率受界于 $\|f - \hat{f}_n\|_{W^{\mu,2}(\Omega)} \sim N^{-(s - \mu)}$，其中 $N$ 为样本数量，$s$ 依赖于核函数光滑性参数 $\nu$。
• 对于 $\nu = 3/2$，在 $C(\Omega)$-范数下的收敛速率至少为 $O(N^{-1})$；对于 $\nu = 5/2$，速率提升至 $O(N^{-2})$。
• 数值结果表明，实际误差曲线位于由 $N^{-(s - \mu)}$ 速率导出的理论斜率边界之下，验证了理论分析。
• 收敛速率依赖于RKHS的索博列夫正则性 $\tau$ 及其嵌入到 $W^{\tau - 0.5,2}(\Omega)$ 的性质，其中 $s < 2\nu - 1.5$。
• 假设 $h_{\Omega_n,\Omega}$ 低于某一阈值，可解释为何当 $N \leq 30$ 时误差曲线趋于平坦，表明此为理论速率生效前的预渐近阶段。