[논문 리뷰] Sampling numbers of smoothness classes via $\ell^1$-minimization

Thomas Jahn, Tino Ullrich외 1명|arXiv (Cornell University)|2022. 12. 01.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 $L^2$에서 부드러움 클래스의 샘플링 수에 대한 새로운 상한을 제시한다. 이는 함수 값에 기반한 $β^1$-최소화(기저 추적 노이즈 제거)를 사용한다. 비선형 복원을 통한 $β^1$-최소화가 선형 방법보다 훨씬 빠른 수렴 속도를 달성함을 보여주며, 가중 카이너 공간에서는 선형 방법 대비 $m^{-1/2}$의 추가 속도 향상과, 준바나흐 공간의 경우는 임의의 다항식 속도 향상이 가능하다. 특히 $1 < p < 2$ 이고 차원 $d$가 클 때, $d$-토러스 위의 혼합 부드러움 특성의 소볼레프 공간에서 뚜렷한 성과를 보인다.

ABSTRACT

Using techniques developed recently in the field of compressed sensing we prove new upper bounds for general (nonlinear) sampling numbers of (quasi-)Banach smoothness spaces in $L^2$. In particular, we show that in relevant cases such as mixed and isotropic weighted Wiener classes or Sobolev spaces with mixed smoothness, sampling numbers in $L^2$ can be upper bounded by best $n$-term trigonometric widths in $L^\infty$. We describe a recovery procedure from $m$ function values based on $\ell^1$-minimization (basis pursuit denoising). With this method, a significant gain in the rate of convergence compared to recently developed linear recovery methods is achieved. In this deterministic worst-case setting we see an additional speed-up of $m^{-1/2}$ (up to log factors) compared to linear methods in case of weighted Wiener spaces. For their quasi-Banach counterparts even arbitrary polynomial speed-up is possible. Surprisingly, our approach allows to recover mixed smoothness Sobolev functions belonging to $S^r_pW(\mathbb{T}^d)$ on the $d$-torus with a logarithmically better rate of convergence than any linear method can achieve when $1 &lt; p &lt; 2$ and $d$ is large. This effect is not present for isotropic Sobolev spaces.

연구 동기 및 목표

• 다변수 함수 복원을 위한 구조적이고 구현 가능한 방법을 개발하여 선형과 비선형 샘플링 복원 간 격차를 해소한다.
• $L^2$에서 부드러움 클래스에 대한 샘플링 수의 맥락에서 $β^1$-최소화의 성능을 분석한다.
• $L^2$ 복원 오차와 $L^\infty$에서의 최적 $n$-항 삼각함수 근사 오차 사이의 정량적 유계를 수립한다.
• 비선형 복원을 통한 $β^1$-최소화가 고차원 혼합 부드러움 설정에서 선형 방법을 능가할 수 있음을 보여준다.
• 비구성적 하향 샘플링 전략을 피하는 결정론적이고 구조적인 복원 절차를 제공하며, 증명 가능한 수렴 속도를 확보한다.

제안 방법

• 함수 값 $m$개를 기반으로 $β^1$-최소화(기저 추적 노이즈 제거)를 복원 연산자로 사용한다.
• 유한 또는thonormal 체계에 대한 최근 제한된 등장성 성질(RIP) 결과를 적용하여 안정적인 복원을 보장한다.
• 압축 감지에서 유도된 노이즈 인식 보장을 활용하여 $L^2$에서의 복원 오차를 제어한다.
• 다변수 삼각함수 체계를 통해 $L^2$ 복원 오차와 $L^\infty$에서의 최적 $n$-항 근사 오차를 연결한다.
• 기저 추적 노이즈 제거 프로그램에서 매개변수 선택을 통해 근사적으로 최적의 $n$-항 근사 복원을 보장한다.
• 측정 수 $m \approx C d \log(d+1) n \log(n+1)^2 \log(M)$를 포함하는 샘플링 수 상한을 유도하며, 오차는 $\widetilde{C}(\sigma_n(\mathcal{F};\mathcal{T}^d)_{L^\infty} + E_{[-M,M]^d \cap \mathbb{Z}^d}(\mathcal{F};\mathcal{T}^d)_{L^\infty})$로 유계화된다.

실험 결과

연구 질문

• RQ1 $L^2$에서의 부드러움 클래스에 대해 $β^1$-최소화가 선형 샘플링 복원보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 샘플링 수 $L^2$와 $L^\infty$에서의 최적 $n$-항 삼각함수 근사 사이의 관계는 무엇인가?
• RQ3 고차원 혼합 부드러움 설정에서 비선형 복원을 통한 $β^1$-최소화가 선형 방법보다 성능 향상을 이룰 수 있는가?
• RQ4 제안된 방법이 준바나흐 공간에서 임의의 다항식 속도 향상을 달성할 수 있는가?
• RQ5 복원 절차는 구조적이며 구현 가능하며, 비구성적 하향 샘플링 전략을 피하는가?

주요 결과

• 샘플링 수 $\varrho_m(\mathcal{F})_{L^2}$는 최적 $n$-항 $L^\infty$ 삼각함수 근사 오차 $\sigma_n(\mathcal{F};\mathcal{T}^d)_{L^\infty}$의 상수배로 상한이 주어지며, 측정 수 $m \approx C d \log(d+1) n \log(n+1)^2 \log(M)$이다.
• 가중 카이너 공간에서는 선형 방법 대비 $m^{-1/2}$의 추가 수렴 속도 향상이 가능하며, 로그 인자 수준까지 허용한다.
• 가중 카이너 공간의 준바나흐 동반체계에서는 선형 방법 대비 임의의 다항식 속도 향상이 가능하다.
• 혼합 부드러움 특성의 소볼레프 공간 $S^r_p(\mathbb{T}^d)$에서 $1 < p < 2$ 이고 $d$가 클 경우, 이 방법은 어떤 선형 방법보다도 로그적으로 더 빠른 수렴 속도를 달성한다.
• 등방성 소볼레프 공간에서는 이러한 수렴 속도 향상이 나타나지 않으며, 이는 혼합 부드러움과 차원성의 중요성을 강조한다.
• 복원 방법은 구조적이며 비구성적 하향 샘플링 전략을 피하며, 증명 가능한 보장을 갖춘 볼록 최적화에 기반한다.