[论文解读] Sparse sampling recovery by greedy algorithms

Vladimir Temlyakov|arXiv (Cornell University)|Dec 20, 2023

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

该论文证明了当应用于具备通用采样离散化和非相干性特性的系统时，弱切比雪夫贪心算法（WCGA）能够在 $L_p$ 范数下实现有效的稀疏采样恢复。论文推导了针对单个函数和多变量函数类的 Lebesgue 型不等式与误差界，表明在这些结构条件下，WCGA 可以在极少采样点下实现近似最优的恢复效果。

ABSTRACT

In this paper we analyze approximation and recovery properties with respect to systems satisfying universal sampling discretization property and a special incoherence property. We apply a powerful nonlinear approximation method -- the Weak Chebyshev Greedy Algorithm (WCGA). We establish that the WCGA based on good points for the $L_p$-universal discretization provides good recovery in the $L_p$ norm. For our recovery algorithms we obtain both the Lebesgue-type inequalities for individual functions and the error bounds for special classes of multivariate functions. The main point of the paper is that we combine here two deep and powerful techniques -- Lebesgue-type inequalities for the WCGA and theory of the universal sampling dicretization -- in order to obtain new results in sampling recovery.

研究动机与目标

• 开发一种基于贪心算法的 $L_p$ 范数下稀疏采样恢复的理论框架。
• 将弱切比雪夫贪心算法（WCGA）与通用采样离散化相结合，以实现最优恢复性能。
• 为单个函数和结构化的多变量函数类建立 Lebesgue 型不等式与误差界。
• 分析非相干性特性与采样离散化之间的相互作用，以实现使用最少采样点的高效恢复。
• 量化在 $L_p$ 恢复中使用 WCGA 时，采样复杂度与逼近精度之间的权衡。

提出的方法

• 将 WCGA 应用于满足 $L_p$-通用采样离散化（定义 1.1）和 (v,S)-非相干性特性（定义 1.2）的系统。
• 该算法通过弱贪心选择迭代选取字典元素，以在 $L_p$ 范数下逼近函数。
• 推导出 Lebesgue 型不等式，以在最佳 $v$-项逼近误差的范围内界定 WCGA 的误差。
• 推导出采样点数 $m$ 的理论界，表明当 $1 \leq p \leq 2$ 时 $m \ll u(\log N)^4$，当 $2 < p < \infty$ 时 $m \ll u^{p/2}(\log N)^2$，其中 $u$ 为迭代次数。
• 分析基于已知的通用离散化结果，并将其扩展至通过 WCGA 实现的 $L_p$-范数恢复。
• 恢复算法的构建分为三步：(1) 通过最佳 $v$-项逼近确定目标精度，(2) 确定所需的迭代次数 $u$，(3) 使用通用采样点对定义域进行离散化。

实验结果

研究问题

• RQ1 弱切比雪夫贪心算法（WCGA）是否能在具备通用采样离散化和非相干性的系统中，实现接近最优的 $L_p$ 恢复误差？
• RQ2 在通用离散化条件下，为确保使用 WCGA 实现稳定 $L_p$ 恢复，所需的最少采样点数 $m$ 是多少？
• RQ3 迭代次数 $u$ 和采样复杂度 $m$ 如何随稀疏参数 $v$ 和维度 $N$ 变化？
• RQ4 当使用 $L_p$-范数而非希尔伯特空间 $L_2$-范数时，WCGA 在多大程度上保持了逼近精度？
• RQ5 是否可以弱化或推广通用采样离散化条件，同时仍能通过 WCGA 实现有效的恢复？

主要发现

• WCGA 实现的 $L_p$ 恢复误差被一个常数倍的最佳 $v$-项逼近误差所界定，该界依赖于非相干参数和离散化常数。
• 当 $1 \leq p \leq 2$ 时，所需采样点数为 $m \ll u(\log N)^4$，表明采样效率接近最优。
• 当 $2 < p < \infty$ 时，采样复杂度按 $m \ll u^{p/2}(\log N)^2$ 变化，反映出由于非希尔伯特空间结构带来的更高成本。
• 实现 $v$-项恢复所需的迭代次数 $u$，在 $1 < p \leq 2$ 时满足 $u \asymp v^{1/(p-1)}\ln(2v)$，在 $2 < p < \infty$ 时满足 $u \asymp v\ln(2v)$。
• 采样界可进一步理论改进：在定理 4.2 和 4.3 中，可通过去除指数中的对数因子来减少所需 $m$ 的数量。
• 恢复算法 $B_v(f, \mathcal{D}_N, L_p(\xi))$ 仅需单侧通用离散化条件即可实现最优误差界，但因其计算成本较高，实际应用性低于 WCGA。