[논문 리뷰] Interpolation via weighted $l_1$ minimization

Holger Rauhut, Rachel Ward|arXiv (Cornell University)|2013. 08. 03.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 24

한 줄 요약

이 논문은 함수 보간을 위한 가중치가 부여된 ℓ₁ 최소화를 제안하며, 희박성과 부드러움의 사전 정보를 통합하여 뛰어난 근사율을 달성한다. 적절하게 선택된 가중치를 사용할 경우 재구성 오차가 $ s^{1-1/p} \|f\|_{v,p} $ 비례하여 감소하며, 샘플 수는 $ m \asymp s \log^3(s) \log(N^{(s,p)}) $로 제한되어, 고차원에서 기존의 고전적 방법 및 무게 없는 ℓ₁ 방법보다 크게 향상된다.

ABSTRACT

Functions of interest are often smooth and sparse in some sense, and both priors should be taken into account when interpolating sampled data. Classical linear interpolation methods are effective under strong regularity assumptions, but cannot incorporate nonlinear sparsity structure. At the same time, nonlinear methods such as $l_1$ minimization can reconstruct sparse functions from very few samples, but do not necessarily encourage smoothness. Here we show that weighted $l_1$ minimization effectively merges the two approaches, promoting both sparsity and smoothness in reconstruction. More precisely, we provide specific choices of weights in the $l_1$ objective to achieve rates for functions with coefficient sequences in weighted $l_p$ spaces, $p<=1$. We consider the implications of these results for spherical harmonic and polynomial interpolation, in the univariate and multivariate setting. Along the way, we extend concepts from compressive sensing such as the restricted isometry property and null space property to accommodate weighted sparse expansions; these developments should be of independent interest in the study of structured sparse approximations and continuous-time compressive sensing problems.

연구 동기 및 목표

• 고전적인 부드러움 기반 보간과 현대적인 희박성 제약 재구성 방법 간의 격차를 메우기 위해.
• 가중치가 부여된 ℓ₁ 최소화를 통해 함수 근사에서 동시에 희박성과 부드러움을 촉진하는 프레임워크를 개발하기 위해.
• 0 < p ≤ 1 인 경우 가중치가 부여된 ℓ_p 공간에 속하는 계수 수열을 가진 함수에 대해 엄밀한 복구 보장을 수립하기 위해.
• 구조적 희박성에 대응할 수 있도록 압축 감지 도구인 제한 이sov역성 성질(RIP)을 가중치 설정으로 일반화하기 위해.
• 일변수 및 다변수 다항식 및 구면 조화 함수 보간에서 더 낮은 샘플 복잡도와 향상된 근사율을 입증하기 위해.

제안 방법

• 기저 함수의 L∞ 노름과 희박성 구조를 반영하도록 가중치를 선택하는 가중치가 부여된 ℓ₁ 최소화 프레임워크를 도입한다.
• 감소하는 중요도를 가지는 고차수 기저 함수를 모델링하기 위해 가중치가 부여된 ℓ_p 준노름 $ \|f\|_{v,p} $ 를 정의한다.
• 안정적인 희박 전개 복구를 보장하기 위해 가중치가 부여된 제한 이sov역성 성질(ω-RIP)과 가중치가 부여된 영공간 성질을 제안한다.
• 기저와의 비상관성을 확보하기 위해 정규화 측도에서 임의의 점을 추출하여 샘플링 행렬 $ \mathbf{A} $ 를 구성한다.
• 제약 최적화 문제를 사용한다: $ \|\mathbf{z}\|_{\omega,1} $ 를 최소화하고, $ \|\mathbf{A}\mathbf{z} - \mathbf{y}\|_2 \leq \tau s^{1/2-1/p} \sqrt{m} \|f\|_{v,p} $ 를 만족시킨다.
• 유한한 지지도와 복구 과정의 안정성을 보장하기 위해 $ v_j \geq 2\omega_j^{1/(1-p/2)} $ 를 선택하며, $ \omega_j \geq \|\psi_j\|_\infty $ 를 만족시킨다.

실험 결과

연구 질문

• RQ1 희박성과 부드러움을 동시에 가진 함수에 대해, 가중치가 부여된 ℓ₁ 최소화가 무게 없는 ℓ₁ 또는 고전적 선형 보간보다 더 뛰어난 근사율을 달성할 수 있는가?
• RQ2 0 < p ≤ 1 인 경우, 가중치가 부여된 ℓ_p 공간에 속하는 계수 수열을 가진 함수의 안정적이고 강건한 복구를 보장하기 위해 어떤 가중치 선택이 필요한가?
• RQ3 가중치가 부여된 ℓ₁ 최소화를 사용할 경우, 샘플 수가 환경 차원에 따라 어떻게 증가하는가?
• RQ4 제한 이sov역성 성질은 연속 시간 압축 감지에서 가중치가 부여된 희박성에 대응하도록 일반화될 수 있는가?
• RQ5 L∞ 노름에서 기저 함수의 성장에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 샘플 수 $ m \geq c_0 s \max\{\log^3(s)\log(N^{(s,p)}), \log(1/\gamma)\} $ 가 확보될 경우, 가중치가 부여된 ℓ₁ 최소화는 고확률로 오차가 $ C_\tau s^{1-1/p} \|f\|_{v,p} $ 이하로 제한된 함수를 복구한다.
• 이 방법은 특히 고차원 환경에서 고전적 선형 보간 및 무게 없는 ℓ₁ 최소화보다 근사율을 향상시킨다.
• 기저 함수의 L∞ 노름을 반영하도록 가중치를 선택할 경우, 필요한 샘플 수는 환경 차원에 대해 로그적 또는 선형적으로 증가한다.
• 랜덤 샘플링 하에서 가중치가 부여된 영공간 성질과 ω-RIP 가 확립되어, 구조적 희박 전개의 안정적 복구를 가능하게 한다.
• p ∈ (0,1] 인 경우, 활성 인덱스 집합 $ \Lambda_0^{(s,p)} $ 는 유한하고 크기가 s에 대해 다항식 수준이므로 실용적인 계산이 가능하다.
• 선택 $ v_j = 2\omega_j^2 $ 는 요구 조건을 만족시키며, $ |j| \to \infty $ 일 때 수열 $ \omega_j v_j^{1-2/p} \to 0 $ 으로 수렴함을 보장한다.