[论文解读] Information-theoretic limits on sparsity recovery in the high-dimensional and noisy setting

Martin J. Wainwright|ArXiv.org|Feb 11, 2007

Sparse and Compressive Sensing Techniques参考文献 22被引用 20

一句话总结

本文建立了在高维、含噪线性模型中，使用高斯设计矩阵进行精确稀疏模式恢复的信息论极限。它推导出样本量 $n$、维度 $p$ 和稀疏度 $s$ 的紧致必要与充分条件，以实现最优译码器的渐近完美恢复，揭示了任何方法——无论计算上是否可行——都必须遵守的根本性能边界。

ABSTRACT

The problem of recovering the sparsity pattern of a fixed but unknown vector $β^* \in eal^p based on a set of $n$ noisy observations arises in a variety of settings, including subset selection in regression, graphical model selection, signal denoising, compressive sensing, and constructive approximation. Of interest are conditions on the model dimension $p$, the sparsity index $s$ (number of non-zero entries in $β^*$), and the number of observations $n$ that are necessary and/or sufficient to ensure asymptotically perfect recovery of the sparsity pattern. This paper focuses on the information-theoretic limits of sparsity recovery: in particular, for a noisy linear observation model based on measurement vectors drawn from the standard Gaussian ensemble, we derive both a set of sufficient conditions for asymptotically perfect recovery using the optimal decoder, as well as a set of necessary conditions that any decoder, regardless of its computational complexity, must satisfy for perfect recovery. This analysis of optimal decoding limits complements our previous work (ARXIV: math.ST/0605740) on sharp thresholds for sparsity recovery using the Lasso ($\ell_1$-constrained quadratic programming) with Gaussian measurement ensembles.

研究动机与目标

• 确定高维、含噪线性模型中稀疏模式恢复的根本信息论极限。
• 推导出三元组 $(n, p, s)$ 的必要与充分条件，以实现对真实支持集 $S$ 的渐近完美恢复。
• 分析在 i.i.d. 高斯测量向量的高维、含噪设置下，最优译码器的性能。
• 通过识别理论性能上限，补充先前关于 Lasso 等计算上可行方法的研究。
• 揭示计算高效方法在性能上落后于根本极限的区域，特别是在线性稀疏性设置中。

提出的方法

• 分析一个含噪线性观测模型 $Y_i = x_i^T \beta^* + W_i$，其中 $x_i \sim \mathcal{N}(0, I_p)$ 且 $W_i \sim \mathcal{N}(0, \sigma^2)$。
• 使用 Fano 不等式推导完美支持集恢复的必要条件，基于互信息和可能的支持集集合的基数。
• 通过分析估计支持集的最小均方误差，推导出使用最优译码器的完美恢复的充分条件。
• 利用卡方和非中心卡方变量的集中不等式，界定估计误差和尾部概率。
• 应用二项式系数的组合界，控制可能稀疏支持集的数量。
• 将最小信号强度 $\mathcal{M}^2(\beta^*)$ 视为影响恢复可行性的关键参数。

实验结果

研究问题

• RQ1 在高维、含噪设置下，$n$、$p$ 和 $s$ 的必要与充分条件是什么，以实现渐近完美稀疏模式恢复？
• RQ2 信息论极限下的恢复性能与 Lasso 等计算上可行方法的性能相比如何？
• RQ3 在哪些区域——特别是线性稀疏性（$s = \alpha p$）下——仅需线性数量的观测即可实现信息论上可能的完美恢复？
• RQ4 最小信号强度 $\mathcal{M}^2(\beta^*)$ 如何影响精确支持集恢复的可行性？
• RQ5 通过受限集合推导出的必要条件是否可在某些尺度下收紧至与充分条件一致？

主要发现

• 本文表明，对于次线性稀疏性（$s = o(p)$）且 $\mathcal{M}^2(\beta^*) = \Theta(1/s)$ 的情况，所推导出的样本量 $n$ 的上下界基本匹配。
• 当稀疏度指数以 $s = \alpha p$ 的方式线性增长（$\alpha \in (0,1)$）时，只要 $\mathcal{M}^2(\beta^*)$ 衰减足够缓慢，仅需 $n = \beta p$ 个观测即可实现完美恢复。
• 通过 Fano 方法推导出的必要条件揭示了在线性稀疏性区域中，Lasso 与最优译码器之间存在根本性能差距。
• 对于最优译码器，推导出以 $n$、$p$、$s$ 和 $\mathcal{M}^2(\beta^*)$ 表示的完美恢复充分条件，表明在信号强度假设较弱时，只要 $n$ 的增长快于 $s \log(p/s)$，恢复即为可行。
• 分析表明，在某些区域中，信息论极限是紧致的，表明这些边界并不过于保守。
• 结果表明，存在一个区域，在该区域内，计算上可行的方法（如 Lasso）即使在存在可成功实现完美恢复的最优译码器的情况下，也无法实现完美恢复。