[논문 리뷰] Worst-case recovery guarantees for least squares approximation using random samples

Lutz Kämmerer, Tino Ullrich외 1명|arXiv (Cornell University)|2019. 11. 22.

Mathematical Approximation and Integration인용 수 5

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 복소수 함수의 최소제곱 근사에 대해 무작위 표본에서 명시적인 최악의 경우 복구 보장을 제공한다. 특수하게 설계된 확률 측도에 따라 선택된 무작위 표본 노드를 사용하고 임bedding 연산자의 특이벡터를 활용함으로써, 실패 확률을 제어할 수 있는 고확률 오차 한계를 유도한다. 이는 하이퍼볼릭 푸리에 및 웨이블릿 회귀에서 거의 최적의 수렴 속도를 달성하며, 최적의 가중치를 가진 단순한 무작위 표본 추출이 구조화된 준몬테카를로 방법과 경쟁할 수 있음을 보여준다.

ABSTRACT

We construct a least squares approximation method for the recovery of complex-valued functions from a reproducing kernel Hilbert space on $D \\subset \\mathbb{R}^d$. The nodes are drawn at random for the whole class of functions and the error is measured in $L_2(D,\\varrho_D)$. We prove worst-case recovery guarantees by explicitly controlling all the involved constants. This leads to new preasymptotic recovery bounds with high probability for the error of Hyperbolic Fourier Regression on multivariate data. In addition, we further investigate its counterpart Hyperbolic Wavelet Regression also based on least-squares to recover non-periodic functions from random samples. Finally, we reconsider the analysis of a cubature method based on plain random points with optimal weights and reveal near-optimal worst-case error bounds with high probability. It turns out that this simple method can compete with the quasi-Monte Carlo methods in the literature which are based on lattices and digital nets.

연구 동기 및 목표

• 재생 커널 힐버트 공간(RKHS)에서 무작위 표본을 통한 최소제곱 근사에 대해 엄밀한 최악의 경우 복구 오차 한계를 수립하는 것.
• 실패 확률을 명시적으로 제어하는 복구 오차에 대한 고확률 보장을 제공하는 것.
• 더 약한 가정 하에 이전 결과를 확장하고 실용적인 매개변수 선택을 제공함으로써 샘플링 복구 이론을 개선하는 것.
• 단순한 무작위 표본 추출에 최적의 가중치를 적용할 경우 거의 최적의 최악의 경우 오차 한계를 달성할 수 있으며, 이는 고도로 구조화된 준몬테카를로 방법과 경쟁할 수 있음을 보여주는 것.

제안 방법

• 복구 연산자는 H(K)에서 L²(D, ̺D)로의 임베딩 연산자의 첫 m−1개의 오른쪽 특이벡터의 스칼라 선형 조합에서 최소제곱 피팅을 통해 구성된다.
• 표본 노드는 임베딩의 스펙트럼 성질에 맞게 특수하게 설계된 확률 측도 ̺D에서 i.i.d.로 추출되며, 성능 향상을 위한 정교한 중요도 표본 추출 전략이 적용된다.
• 주요 양 N(m) = sup_x ∑_{k=1}^{m-1} σ_k^{-2} |e_k(x)|² 는 표본 복잡도와 오차 한계를 제어하는 데 사용된다.
• 집중 부등식을 통해 고확률 오차 한계를 도출하였으며, 최악의 경우 오차가 O(σ_m² + log(8n)/n) 이하로 제한되며, 실패 확률 ≤3δ임을 보여준다.
• 이 방법은 주기적(푸리에) 및 비주기적(체비셰프 웨이블릿) 설정 모두에 적용 가능하며, 수치적 해법으로 LSQR의 사용도 포함된다.
• 테스트 함수에 대한 수치적 검증을 통해 고차원에서의 표본 추출 오차와 근사 오차를 비교하였다.

실험 결과

연구 질문

• RQ1 실패 확률를 명시적으로 제어할 수 있는 무작위 표본을 사용한 최소제곱 근사에 대해 명시적인 최악의 경우 복구 오차 한계를 도출할 수 있는가?
• RQ2 오차 한계는 임베딩 연산자의 스펙트럼 성질, 특히 특이값과 고유함수에 어떻게 의존하는가?
• RQ3 최적의 가중치를 가진 단순한 무작위 표본 추출이, 체계화된 준몬테카를로 방법과 경쟁할 수 있는 거의 최적의 최악의 경우 오차 한계를 달성할 수 있는가?
• RQ4 중요도 표본 추출은 비균일 분포를 가진 함수의 복구 성능 향상에 어떤 역할을 하는가?
• RQ5 비주기적 함수에 대해 고차원 공간에서 이론적 사전점근적 한계가 실제로 성립하는가?

주요 결과

• 논문은 다음과 같은 고확률 최악의 경우 오차 한계를 수립한다: P(sup_||f||_H(K)≤1 ||f - S_X^m f||_L²² ≤ 29δ · max{σ_m², log(8n)/n · T(m)}) ≥ 1−3δ, 여기서 T(m) = sup_x ∑_{k≥m} |e_k(x)|²이다.
• N(m) ∈ O(m)일 경우 오차 한계는 O(δ⁻¹ · m⁻¹ ∑_{k≥m/2} σ_k²)로 감소하며, 거의 최적의 수렴 속도를 달성한다.
• 체비셰프 측도를 가진 비주기적 경우 [−1,1]^d에서의 수치 실험 결과, 표본 추출 오차와 근사 오차가 n⁻¹·⁵(log n)^d·¹·⁵로 감소함을 확인하였으며, 이는 이론적 예측과 일치한다.
• 회복된 근사에서의 적분 오차는 n⁻²(log n)^d·²로 감소하며, 표본 추출 오차 속도를 능가하며, 이는 이 방법이 적분에 효과적임을 확인한다.
• 단순한 무작위 표본 추출과 최적의 가중치를 사용한 방법은 거의 최적의 최악의 경우 오차 한계를 달성하며, 격자형 및 디지털 넷 기반 준몬테카를로 방법과 경쟁할 수 있다.
• 문헌 [32]과 (8.5)의 사전점근적 이론적 한계는 체비셰프 케이스에서 강하게 성립할 것으로 예상되며, 수치적 증거에 의해 뒷받침된다.