[논문 리뷰] Approximations of the Reproducing Kernel Hilbert Space (RKHS) Embedding Method over Manifolds

Jia Guo, Sai Tej Paruchuri외 1명|arXiv (Cornell University)|2020. 07. 13.

Model Reduction and Neural Networks참고 문헌 31인용 수 4

한 줄 요약

이 논문은 비선형 ODE에서 미지의 함수를 추정할 때 유한차원 근사에 대한 수렴 보장을 확립하고 수렴 속도를 유도한다. 재생 커널 힐버트 공간(RKHS)을 콪 pact한 부분다양체 위의 소볼레프 공간에 통합하고, 표본의 메시의 최대 거리인 메시 거리(fill distance)를 통해 근사 오차를 분석함으로써, 오차가 표본 수의 거듭제곱으로 감소함을 보여주며, 이 속도는 커널의 부드러움과 소볼레프 정규성에 따라 달라진다.

ABSTRACT

The reproducing kernel Hilbert space (RKHS) embedding method is a recently introduced estimation approach that seeks to identify the unknown or uncertain function in the governing equations of a nonlinear set of ordinary differential equations (ODEs). While the original state estimate evolves in Euclidean space, the function estimate is constructed in an infinite-dimensional RKHS that must be approximated in practice. When a finite-dimensional approximation is constructed using a basis defined in terms of shifted kernel functions centered at the observations along a trajectory, the RKHS embedding method can be understood as a data-driven approach. This paper derives sufficient conditions that ensure that approximations of the unknown function converge in a Sobolev norm over a submanifold that supports the dynamics. Moreover, the rate of convergence for the finite-dimensional approximations is derived in terms of the fill distance of the samples in the embedded manifold. Numerical simulation of an example problem is carried out to illustrate the qualitative nature of convergence results derived in the paper.

연구 동기 및 목표

• 다양체 위의 부분다양체에서 유한차원 RKHS 근사의 수렴 조건을 소볼레프 노름으로 확립하기 위해.
• 다양체 위의 표본 데이터 포인트의 메시 거리에 따라 RKHS 통합 추정기의 수렴 속도를 정량화하기 위해.
• 이론적 무한차원 RKHS 추정과 실용적인 유한차원 계산 사이의 격차를 메우기 위해 소볼레프 공간에서의 근사 오차를 분석함으로써.
• 비선형 ODE의 한 차원 불변 다양체를 가진 시나리오에서 이론적 수렴 속도를 수치 시뮬레이션으로 검증하기 위해.

제안 방법

• 마르티에르 커널의 알려진 통합을 활용하여, RKHS를 $W^{\tau,2}(\rdd)$ 소볼레프 공간에 통합함으로써 RKHS 통합 방법을 재구성한다.
• 유한차원 부분공간 $H_{\Omega_n}$에 대한 투영 오차를 나타내는 연산자 $I - \mathbf{P}_{\Omega_n}$를 통해 근사 오차를 분석한다. 이 부분공간은 표본 포인트 중심의 커널 함수에 의해 생성된다.
• 반경기반 함수 보간의 소볼레프 오차 경계를 적용하여, 다양체 위에 제한된 함수에 대한 $W^{\mu,2}(\Omega)$-노름에서의 수렴 속도를 도출한다.
• 메시 거리 $h_{\Omega_n,\Omega}$는 다양체 위의 임의의 점에서 가장 가까운 표본까지의 최대 거리를 측정하며, 이는 수렴 속도 분석의 핵심 매개변수로 사용된다.
• 분석은 다양체 위에서 궤적이 지속적으로 자극받는(PE) 조건을 가정하며, 이는 표본 집합 $\Omega_n$이 결국 다양체를 조밀하게 메운다는 것을 보장한다.
• 수치 실험은 $\Omega = \{x \in \mathbb{R}^2 : \Phi(x) = -0.1\}$인 한 차원 불변 다양체 위에서 균일하게 샘플링된 점들을 사용하며, $\nu = 3/2$ 및 $\nu = 5/2$인 마르티에르 커널을 적용한다.

실험 결과

연구 질문

• RQ1 유한차원 RKHS 통합 추정기의 근사가 부분다양체 위의 소볼레프 노름에서 수렴하기 위한 조건은 무엇인가?
• RQ2 표본 포인트의 메시 거리에 따라 수렴 속도는 어떻게 달라지는가?
• RQ3 커널의 부드러움($\nu$를 통해)과 소볼레프 및 연속 노름에서의 수렴 속도 사이의 관계는 무엇인가?
• RQ4 이론적 수렴 속도는 비선형 ODE와 알려진 불변 다양체를 가진 시나리오에서 수치적으로 검증될 수 있는가?
• RQ5 커널 선택(예: 마르티에르)은 RKHS를 소볼레프 공간에 통합하고, 결과적으로 근사 오차에 어떤 영향을 미치는가?

주요 결과

• 메시 거리 $h_{\Omega_n,\Omega}$가 감소함에 따라, 유한차원 근사의 RKHS 통합 추정기는 $W^{\mu,2}(\Omega)$-노름에서 수렴한다.
• 수렴 속도는 $\|f - \hat{f}_n\|_{W^{\mu,2}(\Omega)} \sim N^{-(s - \mu)}$로 경계되며, 여기서 $N$은 표본 수이고 $s$는 커널의 부드러움 파라미터 $\nu$에 따라 달라진다.
• For $\nu = 3/2$, $C(\Omega)$-노름에서의 수렴 속도는 최소 $O(N^{-1})$이며, $\nu = 5/2$일 경우 $O(N^{-2})$로 향상된다.
• 수치 결과는 실제 오차 곡선이 $N^{-(s - \mu)}$ 속도에서 유도된 이론적 기울기 경계 아래에 위치함을 확인하여 이론 분석을 검증한다.
• 수렴 속도는 RKHS의 소볼레프 정규성 $\tau$와 $W^{\tau - 0.5,2}(\Omega)$로의 통합에 따라 달라지며, $s < 2\nu - 1.5$이다.
• 메시 거리 $h_{\Omega_n,\Omega}$가 임계값 이하일 경우의 가정은 $N \leq 30$에서 평탄한 오차 곡선을 설명하며, 이는 이론적 속도가 작동하기 전의 사전 점근적 영역임을 시사한다.