[论文解读] Lebesgue-type inequalities in sparse sampling recovery

F. Dai, Vladimir Temlyakov|arXiv (Cornell University)|Jul 9, 2023

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

该论文在 $L_p$ 范数下建立了稀疏采样恢复的 Lebesgue 型不等式，其中 $2 \leq p < \infty$，基于 $L_p$-通用离散化点引入了弱切比雪夫贪心算法（WCGA）。该研究证明了仅通过函数取值即可实现对 $v$-稀疏函数的稳定且近乎最优的恢复，其误差界与最佳 $v$-项逼近误差相当，通过 Banach 空间方法将先前在 $L_2$ 空间中的结果推广至一般的 $L_p$ 空间。

ABSTRACT

Recently, it has been discovered that results on universal sampling discretization of the square norm are useful in sparse sampling recovery with error being measured in the square norm. It was established that a simple greedy type algorithm -- Weak Orthogonal Matching Pursuit -- based on good points for universal discretization provides effective recovery in the square norm. In this paper we extend those results by replacing the square norm with other integral norms. In this case we need to conduct our analysis in a Banach space rather than in a Hilbert space, making the techniques more involved. In particular, we establish that a greedy type algorithm -- Weak Chebyshev Greedy Algorithm -- based on good points for the $L_p$-universal discretization provides good recovery in the $L_p$ norm for $2\le p&lt;\infty$. Furthermore, we discuss the problem of stable recovery and demonstrate its close relationship with sampling discretization.

研究动机与目标

• 将基于函数取值的稀疏采样恢复从 $L_2$ 推广至一般 $L_p$ 范数，其中 $2 \leq p < \infty$。
• 在 Banach 空间中，为基于函数取值的恢复算法建立 Lebesgue 型不等式。
• 证明弱切比雪夫贪心算法（WCGA）在使用提供 $L_p$-通用离散化的点时，能够实现稳定且近乎最优的恢复。
• 阐明稳定采样恢复与 $L_p$ 空间中子空间的通用离散化理论之间的联系。

提出的方法

• 作者采用弱切比雪夫贪心算法（WCGA）作为恢复方法，该方法通过迭代选择与残差相关性最高的字典元素。
• 他们依赖于存在一组点 $\xi$，这些点能为子空间 $\mathcal{X}_v(\mathcal{D}_N)$ 提供 $L_p$-通用离散化，从而确保 $L_p$ 范数与样本点上的经验 $\ell_p$ 范数之间的范数等价性。
• 分析在 Banach 空间 $L_p(\Omega,\mu)$ 中进行，其中 $2 \leq p < \infty$，其技术比在 Hilbert 空间中更为复杂。
• 通过利用 $L_p$-通用离散化性质，推导出关键不等式，从而以最佳 $v$-项逼近误差的形式控制 WCGA 的误差。
• 论文利用几乎贪婪系统和 $\mathbf{a}$-贪婪系统的概念，形式化了恢复算法的 Lebesgue 型不等式。
• 在字典 $\mathcal{D}_N$ 为一致有界 Riesz 系统，且采样点满足 $\mathcal{X}_u(\mathcal{D}_N)$ 的通用离散化（$u \sim v$）的假设下，建立了理论界。

实验结果

研究问题

• RQ1 当恢复基于函数取值时，能否在 $L_p$ 空间中（$2 \leq p < \infty$）为贪心算法建立 Lebesgue 型不等式？
• RQ2 弱切比雪夫贪心算法（WCGA）是否仅使用采样函数值即可在 $L_p$ 范数下实现稳定且近乎最优的恢复？
• RQ3 稳定采样恢复与子空间的 $L_p$-通用离散化之间存在何种关系？
• RQ4 当采样点满足通用离散化时，WCGA 在 $L_p$ 空间中的性能与最佳 $v$-项逼近相比如何？

主要发现

• 弱切比雪夫贪心算法（WCGA）在 $L_p$ 范数下（$2 \leq p < \infty$）实现了 Lebesgue 型不等式，其误差被一个常数倍的最佳 $v$-项逼近误差所控制。
• 对于 $f_0 \in \Sigma_v(\mathcal{D}_N)$，在 $\mathcal{X}_{2v}(\mathcal{D}_N)$ 具备 $L_p$-通用离散化的条件下，WCGA 在 $cV^2(\ln(Vv))v$ 次迭代后可精确恢复 $f_0$。
• 该算法具有稳定性：若 $f_0$ 是 $f \in \Sigma_v(\mathcal{D}_N)$ 的含噪版本，且满足 $\|f_0 - f\|_\infty \leq \delta$，则 WCGA 会产生一个 $cV^2(\ln(Vv))v$-稀疏逼近，其与 $f$ 的偏差至多为 $C\delta$。
• 当 $p=2$ 时，WCGA 在 $v' \sim v\ln(Vv)$ 次迭代后达到界；在更强假设下（如 $L_2$-通用离散化且常数更紧），迭代次数可减少至 $O(v)$。
• 论文证明了 $L_p$-通用离散化点能够实现稳定且精确的稀疏恢复，将先前在 $L_2$ 空间中的结果推广至 $L_p$ 空间（$p \geq 2$）。
• 结果表明，采样离散化与稳定恢复之间的联系在 $L_p$ 空间中具有鲁棒性，且通过离散化常数和字典性质可实现显式的定量控制。