[논문 리뷰] Optimal sampling rates for approximating analytic functions from pointwise samples

Ben Adcock, Rodrigo B. Platte외 1명|arXiv (Cornell University)|2016. 10. 15.

Statistical and numerical algorithms참고 문헌 24인용 수 4

한 줄 요약

이 논문은 일반화된 불가능성 정리(Generalized impossibility theorem)를 사용하여 비균일한 점 샘플로부터 해석 함수의 안정적인 근사화에 최적의 샘플링 비율을 설정한다. Coppersmith & Rivlin의 다항식 극값 경계를 임의의 노드 분포로 확장하고 수정된 자바티 가중치 그리드에 적용함으로써, 저자들은 안정적인 근사화에 대한 최적 수렴 속도가 지수적 인덱스 $\nu = \frac{1}{2(\gamma+1)}$를 가진 초기하적(subgeometric)임을 증명한다. 여기서 $\gamma = \max\{\alpha,\beta, -1/2\}$이며, 더 빠른 수렴은 지수적 불안정성(ill-conditioning)을 야기함을 보여준다.

ABSTRACT

We consider the problem of approximating an analytic function on a compact interval from its values at $M+1$ distinct points. When the points are equispaced, a recent result (the so-called impossibility theorem) has shown that the best possible convergence rate of a stable method is root-exponential in $M$, and that any method with faster exponential convergence must also be exponentially ill-conditioned at a certain rate. This result hinges on a classical theorem of Coppersmith & Rivlin concerning the maximal behaviour of polynomials bounded on an equispaced grid. In this paper, we first generalize this theorem to arbitrary point distributions. We then present an extension of the impossibility theorem valid for general nonequispaced points, and apply it to the case of points that are equidistributed with respect to (modified) Jacobi weight functions. This leads to a necessary sampling rate for stable approximation from such points. We prove that this rate is also sufficient, and therefore exactly quantify (up to constants) the precise sampling rate for approximating analytic functions from such node distributions with stable methods. Numerical results -- based on computing the maximal polynomial via a variant of the classical Remez algorithm -- confirm our main theorems. Finally, we discuss the implications of our results for polynomial least-squares approximations. In particular, we theoretically confirm the well-known heuristic that stable least-squares approximation using polynomials of degree $N < M$ is possible only once $M$ is sufficiently large for there to be a subset of $N$ of the nodes that mimic the behaviour of the $N$th set of Chebyshev nodes.

연구 동기 및 목표

• 임의의 점 샘플로부터 해석 함수의 안정적 근사화에 대한 기본 한계를 규명하는 것.
• Adcock & Platte(2016)의 균일한 그리드에 대한 불가능성 정리를 비균일한 그리드로 일반화하는 것.
• 수정된 자바티 노드 분포에서 다항식 근사화의 수렴 속도와 불안정성 사이의 정확한 상호보완 관계를 규명하는 것.
• 이러한 조건 하에서 다항식 최소제곱법이 최적임을 입증하고, 샘플링 비율 $M \asymp N^{2(\gamma+1)}$을 설정하는 것.

제안 방법

• 변분 공식을 통해 고전적인 Coppersmith & Rivlin의 다항식 초등급 노름 하한을 임의의 점 집합으로 확장한다.
• 모든 노드 분포에 대해 수렴 속도와 조건수 사이의 추상적 불가능성 정리를 유도한다.
• 노드들이 수정된 자바티 가중 함수 $\mu(x) = g(x)(1-x)^\alpha(1+x)^\beta$에 따라 균일하게 분포할 경우에 결과를 특수화한다. 여기서 $g(x)$는 0과 무한대에서 벗어나 있는 유계 함수이다.
• 최대 다항식을 수치적으로 계산하고 이론적 경계를 검증하기 위해 Remez 알고리즘의 변종을 사용한다.
• 이산 최소제곱 피팅의 조건수를 분석하고, 이를 극값 다항식의 노름과 연결한다.
• 유도된 샘플링 비율이 안정적이고 최적의 수렴을 위해 필수적이고도 충분함을 증명한다.

실험 결과

연구 질문

• RQ1 비균일한 점 샘플로부터 해석 함수를 근사화할 때, 안정적인 수치적 방법이 달성할 수 있는 최고의 수렴 속도는 무엇인가?
• RQ2 끝점 집중이 있는 그리드에서 안정적인 근사화를 위한 샘플링 비율 $M$과 다항식 차수 $N$ 사이의 관계는 어떻게 되는가?
• RQ3 이러한 그리드에서 지수적 수렴과 지수적 불안정성 사이의 상호보완 관계는 무엇인가?
• RQ4 이러한 노드 분포에 대해 다항식 최소제곱법이 안정성과 수렴 측면에서 최적이 되는가?
• RQ5 이론적 샘플링 비율이 안정적 근사화에 대해 필수적이고도 충분한가?

주요 결과

• 수정된 자바티 가중 함수에 따라 균일하게 분포한 노드에 대해 $\gamma = \max\{\alpha,\beta, -1/2\}$일 때, 안정적인 방법이 달성할 수 있는 최고의 수렴 속도는 지수적 인덱스 $\nu = \frac{1}{2(\gamma+1)}$를 가진 초기하적(subgeometric)이며, 오차는 어떤 $\rho > 1$에 대해 $\mathcal{O}(\rho^{-M^\nu})$처럼 감쇠한다.
• 지수적 수렴(즉, $\mathcal{O}(\rho^{-M})$)을 달성하는 모든 방법은 $\gamma > -1/2$일 경우 $M$에 대해 지수적으로 불안정해진다.
• 샘플링 비율 $M \asymp N^{2(\gamma+1)}$는 $M+1$개의 노드를 사용하여 차수 $N$의 다항식 최소제곱 근사화에 대해 안정적이고 최적의 수렴을 위해 필수적이며 충분하다.
• Remez 유형 알고리즘을 사용한 수치 실험은 극값 다항식 노름에 대한 이론적 경계를 확인한다.
• 이산 최소제곱 피팅의 조건수는 극값 다항식의 무한노름과 渐近적으로 등가적(약 $\sqrt{M}$의 요소까지)이며, 이는 안정성과 일반화된 Coppersmith-Rivlin 경계 사이의 연결고리를 제공한다.
• $-1 < \gamma < -1/2$인 경우, 수치적 증거는 $M = cN$ (작은 $c$)일 때 극값 노름이 지수적으로 증가함을 시사하지만, 이는 아직 증명되지 않았다.