[論文レビュー] Approximations of the Reproducing Kernel Hilbert Space (RKHS) Embedding Method over Manifolds

Jia Guo, Sai Tej Paruchuri+1 more|arXiv (Cornell University)|Jul 13, 2020

Model Reduction and Neural Networks参考文献 31被引用数 4

ひとこと要約

本稿は、非線形ODEにおける未知関数の推定に用いられる再生核ヒルベルト空間（RKHS）埋め込み法の有限次元近似について、収束保証と収束速度を確立する。RKHSをソボレフ空間に埋め込み、コンpact部分多様体上でのサンプルのフィル距離を用いて近似誤差を分析することで、誤差がサンプル数のべき乗として減少することを示し、その速度はカーネルの滑らかさとソボレフ正則性に依存する。

ABSTRACT

The reproducing kernel Hilbert space (RKHS) embedding method is a recently introduced estimation approach that seeks to identify the unknown or uncertain function in the governing equations of a nonlinear set of ordinary differential equations (ODEs). While the original state estimate evolves in Euclidean space, the function estimate is constructed in an infinite-dimensional RKHS that must be approximated in practice. When a finite-dimensional approximation is constructed using a basis defined in terms of shifted kernel functions centered at the observations along a trajectory, the RKHS embedding method can be understood as a data-driven approach. This paper derives sufficient conditions that ensure that approximations of the unknown function converge in a Sobolev norm over a submanifold that supports the dynamics. Moreover, the rate of convergence for the finite-dimensional approximations is derived in terms of the fill distance of the samples in the embedded manifold. Numerical simulation of an example problem is carried out to illustrate the qualitative nature of convergence results derived in the paper.

研究の動機と目的

• 動的システムが定義される部分多様体上でのソボレフノルムにおける有限次元RKHS近似の収束の十分条件を確立すること。
• 多様体上でのサンプル点のフィル距離を用いて、RKHS埋め込み推定子の収束速度を定量化すること。
• 理論的無限次元RKHS推定と実用的有限次元計算との間のギャップを、ソボレフ空間における近似誤差を分析することで埋めること。
• 1次元不変多様体を有する非線形ODEに対して数値実験を実施し、理論的収束速度を検証すること。

提案手法

• マトリーンカーネルの既知の埋め込みを活用し、RKHSをソボレフ空間 $W^{\tau,2}(\rdd)$ に埋め込むことで、RKHS埋め込み法を再定式化する。
• 有限次元部分空間 $H_{\Omega_n}$ に沿った射影誤差を表す演算子 $I - \mathbf{P}_{\Omega_n}$ を用いて近似誤差を分析する。
• 径数基底関数補間のソボレフ誤差境界を適用し、多様体上での制限関数の $W^{\mu,2}(\Omega)$-ノルムにおける収束速度を導出する。
• 多様体上での任意の点から最近傍のサンプルまでの最大距離を測るフィル距離 $h_{\Omega_n,\Omega}$ を、収束速度解析の主要パラメータとして用いる。
• 軌道が多様体上で持続的に励起されている（PE）ものと仮定し、サンプル集合 $\Omega_n$ が最終的に多様体を密に埋めることを保証する。
• 数値実験では、1次元不変多様体 $\Omega = \{x \in \mathbb{R}^2 : \Phi(x) = -0.1\}$ 上に一様にサンプリングされた点を用い、$\nu = 3/2$ および $\nu = 5/2$ のマトリーンカーネルを用いる。

実験結果

リサーチクエスチョン

• RQ1 有限次元RKHS埋め込み推定子の部分多様体上でのソボレフノルムにおける収束が成立する条件は何か？
• RQ2 収束速度は多様体上でのサンプル点のフィル距離にどのように依存するか？
• RQ3 カーネルの滑らかさ（$\nu$ を通じて）と、ソボレフノルムおよび連続ノルムにおける収束速度の関係は何か？
• RQ4 既知の不変多様体を有する非線形ODEを用いて、理論的収束速度を数値的に検証できるか？
• RQ5 カーネルの選択（例：マトリーン）が、RKHSのソボレフ空間への埋め込みおよび結果としての近似誤差に与える影響は何か？

主な発見

• フィル距離 $h_{\Omega_n,\Omega}$ が小さくなるにつれて、有限次元近似のRKHS埋め込み推定子は $W^{\mu,2}(\Omega)$-ノルムで収束する。
• 収束速度は $\|f - \hat{f}_n\|_{W^{\mu,2}(\Omega)} \sim N^{-(s - \mu)}$ で抑えられ、ここで $N$ はサンプル数、$s$ はカーネルの滑らかさパラメータ $\nu$ に依存する。
• $\nu = 3/2$ の場合、$C(\Omega)$-ノルムにおける収束速度は少なくとも $O(N^{-1})$ であり、$\nu = 5/2$ の場合、$O(N^{-2})$ に改善される。
• 数値結果から、実際の誤差曲線が $N^{-(s - \mu)}$ に基づく理論的勾配境界以下に位置していることが確認され、理論的解析の妥当性が裏付けられる。
• 収束速度はRKHSのソボレフ正則性 $\tau$ と $W^{\tau - 0.5,2}(\Omega)$ への埋め込みに依存し、$s < 2\nu - 1.5$ が成り立つ。
• フィル距離 $h_{\Omega_n,\Omega}$ が閾値未満であるという仮定が、$N \leq 30$ における平坦な誤差曲線（理論的速度が効く前の前漸近的領域）を説明している。