[论文解读] Interpolation via weighted $l_1$ minimization

Holger Rauhut, Rachel Ward|arXiv (Cornell University)|Aug 3, 2013

Sparse and Compressive Sensing Techniques参考文献 40被引用 24

一句话总结

该论文提出加权 ℓ₁ 最小化用于函数插值，结合稀疏性与平滑性先验，实现更优的逼近速率。证明了在适当选择权重的情况下，重构误差以 $ s^{1-1/p} \|f\|_{v,p} $ 的速率衰减，仅需 $ m \asymp s \log^3(s) \log(N^{(s,p)}) $ 个样本，显著优于高维情况下的经典方法与未加权 ℓ₁ 方法。

ABSTRACT

Functions of interest are often smooth and sparse in some sense, and both priors should be taken into account when interpolating sampled data. Classical linear interpolation methods are effective under strong regularity assumptions, but cannot incorporate nonlinear sparsity structure. At the same time, nonlinear methods such as $l_1$ minimization can reconstruct sparse functions from very few samples, but do not necessarily encourage smoothness. Here we show that weighted $l_1$ minimization effectively merges the two approaches, promoting both sparsity and smoothness in reconstruction. More precisely, we provide specific choices of weights in the $l_1$ objective to achieve rates for functions with coefficient sequences in weighted $l_p$ spaces, $p<=1$. We consider the implications of these results for spherical harmonic and polynomial interpolation, in the univariate and multivariate setting. Along the way, we extend concepts from compressive sensing such as the restricted isometry property and null space property to accommodate weighted sparse expansions; these developments should be of independent interest in the study of structured sparse approximations and continuous-time compressive sensing problems.

研究动机与目标

• 将经典基于平滑性的插值方法与现代稀疏性约束的重构方法相连接。
• 构建一个框架，通过加权 ℓ₁ 最小化同时促进函数逼近中的稀疏性与平滑性。
• 为系数序列属于加权 ℓ_p 空间且满足 $ 0 < p \leq 1 $ 的函数建立严格的恢复保证。
• 将压缩感知工具（如限制等距性质）推广至加权设置，以适应结构化稀疏性。
• 在单变量与多变量多项式及球谐函数插值中，展示改进的样本复杂度与逼近速率。

提出的方法

• 提出一种加权 ℓ₁ 最小化框架，其中权重根据基函数的 L∞ 范数及其稀疏性结构来选择，以反映其相对重要性。
• 定义加权 ℓ_p 范数 $ \|f\|_{v,p} $，以建模具有递减重要性的高阶基函数的结构化稀疏性。
• 提出加权限制等距性质（ω-RIP）与加权零空间性质，以确保稀疏展开的稳定恢复。
• 通过从正交化测度中随机抽取的点构造采样矩阵 $ \mathbf{A} $，确保其与基函数的非相干性。
• 使用约束优化问题：在满足 $ \|\mathbf{A}\mathbf{z} - \mathbf{y}\|_2 \leq \tau s^{1/2-1/p} \sqrt{m} \|f\|_{v,p} $ 的条件下，最小化 $ \|\mathbf{z}\|_{\omega,1} $。
• 选择权重 $ v_j \geq 2\omega_j^{1/(1-p/2)} $，其中 $ \omega_j \geq \|\psi_j\|_\infty $，以确保有限支撑与恢复过程的稳定性。

实验结果

研究问题

• RQ1 加权 ℓ₁ 最小化能否在同时具备稀疏性与平滑性的函数上，实现优于未加权 ℓ₁ 或经典线性插值的逼近速率？
• RQ2 何种权重选择可确保在 $ 0 < p \leq 1 $ 条件下，对系数序列属于加权 ℓ_p 空间的函数实现稳定且鲁棒的恢复？
• RQ3 在使用加权 ℓ₁ 最小化时，所需样本数量如何随环境维度增长？
• RQ4 能否将限制等距性质推广至连续时间压缩感知中的加权稀疏性？
• RQ5 基函数在 L∞ 范数下的增长对稀疏恢复有何影响？又该如何缓解？

主要发现

• 当 $ m \geq c_0 s \max\{\log^3(s)\log(N^{(s,p)}), \log(1/\gamma)\} $ 个样本时，加权 ℓ₁ 最小化以高概率恢复函数，误差有界于 $ C_\tau s^{1-1/p} \|f\|_{v,p} $。
• 该方法实现的逼近速率优于经典线性插值与未加权 ℓ₁ 最小化，尤其在高维情形下表现更优。
• 当权重被选择为反映基函数的 L∞ 范数时，所需样本数仅随环境维度对数或线性增长。
• 在随机采样下，建立了加权零空间性质与 ω-RIP，从而实现对结构化稀疏展开的稳定恢复。
• 对于 $ p \in (0,1] $，该方法确保活跃指标集 $ \Lambda_0^{(s,p)} $ 为有限集，且其大小关于 $ s $ 为多项式增长，从而支持实际计算。
• 选择 $ v_j = 2\omega_j^2 $ 满足所需的权重条件，并确保当 $ |j| \to \infty $ 时，序列 $ \omega_j v_j^{1-2/p} \to 0 $。