[논문 리뷰] Convergence rate of the data-independent $P$-greedy algorithm in kernel-based approximation

Gabriele Santin, Bernard Haasdonk|arXiv (Cornell University)|2016. 12. 08.

Numerical methods in inverse problems인용 수 28

한 줄 요약

이 논문은 커널 기반 근사에서 데이터에 의존하지 않는 $P$-그리디 알고리즘의 수렴 속도를 확립하며, 스모oth 스페이스를 생성하는 커널에 대해 거의 최적의 수렴 속도를 달성함을 증명한다. 이 방법은 파wer 함수를 최대화하도록 점을 선택하여 점의 점점 균일한 분포를 보장하고, 내부 공간의 모든 함수에 대해 균일한 오차 한계를 제공한다.

ABSTRACT

Kernel-based methods provide flexible and accurate algorithms for the reconstruction of functions from meshless samples. A major question in the use of such methods is the influence of the samples locations on the behavior of the approximation, and feasible optimal strategies are not known for general problems. Nevertheless, efficient and greedy point-selection strategies are known. This paper gives a proof of the convergence rate of the data-independent extit{$P$-greedy} algorithm, based on the application of the convergence theory for greedy algorithms in reduced basis methods. The resulting rate of convergence is shown to be near-optimal in the case of kernels generating Sobolev spaces. As a consequence, this convergence rate proves that, for kernels of Sobolev spaces, the points selected by the algorithm are asymptotically uniformly distributed, as conjectured in the paper where the algorithm has been introduced.

연구 동기 및 목표

• 데이터에 의존하지 않는 $P$-그리디 알고리즘의 커널 기반 근사에서의 수렴 속도를 확립하는 것.
• 스모옵프 스페이스를 생성하는 커널에 대해 이 알고리즘이 거의 최적의 수렴 속도를 제공함을 증명하는 것.
• 이전 연구에서 제기된 바와 같이 선택된 점들의 점점 균일한 분포가 성립하는 것을 확인하는 것.
• 가우시안 및 월랜드 커널에 대한 수치 실험을 통해 이론적 수렴 속도를 검증하는 것.

제안 방법

• P-그리디 알고리즘은 $\Omega$ 내에서 파워 함수 $P_{V(X_{n-1})}$ 를 최대화하도록 점을 반복적으로 선택하여 균일한 근사 오차 한계를 확보한다.
• 이론적 수렴 분석은 축소 기저 방법에서의 그리디 알고리즘 수렴 이론에 기반한다.
• 선택 기준으로 파워 함수 $P_{V(X_n)}(x)$ 가 사용되며, 이는 내부 공간 $\mathcal{H}_K(\Omega)$ 상에서 정규화된 보간 오차의 상한으로 정의된다.
• 수치적 구현은 파워 함수를 효율적으로 계산하기 위해 매트릭스-프리 뉴턴 기저 표현식을 사용한다.
• 계산을 위해 $\Omega$ 의 이산화된 버전 $\tilde{\Omega}$ 가 사용되며, 이는 $[-1,1]^d$ 내의 단위 구와의 교차를 포함한다.
• 실험은 가우시안 및 월랜드 커널에 대해 고정된 형태 매개변수($\varepsilon=1$)를 사용하며, 정지 허용 오차 $\tau=10^{-15}$ 또는 $n=1000$ 개의 점을 기준으로 한다.

실험 결과

연구 질문

• RQ1 데이터에 의존하지 않는 $P$-그리디 알고리즘이 커널 기반 근사에 대해 어떤 수렴 속도를 가지는가?
• RQ2 $P$-그리디 알고리즘이 점점 균일하게 분포된 점 집합을 생성하는가?
• RQ3 이론적 수렴 속도와 가우시안 및 월랜드 커널에 대한 수치적 감쇠 속도 사이의 비교는 어떻게 되는가?
• RQ4 선택된 점들의 필 거리가 파워 함수 감쇠와 일치하는 속도로 감소하는가?
• RQ5 스모옵프 스페이스를 생성하는 커널에 대해 수렴 속도가 거의 최적인가?

주요 결과

• P-그리디 알고리즘은 스모옵프 스페이스를 생성하는 커널에 대해 거의 최적의 수렴 속도를 달성하며, 이는 이론적 기대와 일치한다.
• 수치 실험을 통해 가우시안 커널의 이론적 감쇠 속도가 확인되었으며, 표본 1에 $\hat{c}_2$ 및 $\hat{c}_3$ 추정 계수들이 보고되었다.
• 월랜드 커널의 경우, 정리 8의 이론적 속도는 비정밀한 것으로 밝혀졌으며, 오히려 비고 9의 수정된 속도가 수치 감쇠와 더 잘 일치하였다.
• 개선된 속도에 대한 추정 계수 $\hat{c}_1$ 는 표본 2에 보고되었으며, 차원 $d$ 와 매끄러움 정도 $\beta$ 에 대한 의존성을 보였다.
• 선택된 점들의 필 거리가 코로나리 11와 일치하는 속도로 감소함을 확인하여 이론적 한계가 검증되었다.
• 이산화된 도메인 $\tilde{\Omega}$ 의 사용은 수치 결과에 영향을 미치며, 특히 기계 정밀도 근처에서는 그러한 영향이 두드러지나, 전반적인 추세는 이론과 일치한다.