[论文解读] Simple Bounds for Recovering Low-complexity Models

Emmanuel J. Candès, Benjamin Recht|arXiv (Cornell University)|Jun 7, 2011

Sparse and Compressive Sensing Techniques参考文献 13被引用 5

一句话总结

本文提出了针对从随机线性测量中恢复稀疏向量和低秩矩阵的简单、自包含的界。通过使用拉格朗日对偶性和标准浓度不等式分析对偶证书，证明了对于 $s$-稀疏向量恢复，$2s\log n$ 个高斯测量足够；对于秩为 $r$ 的矩阵恢复，$r(6n-5r)$ 个测量足够，其结果与目前已知的最佳非渐近界一致，且技术开销最小。

ABSTRACT

This note presents a unified analysis of the recovery of simple objects from random linear measurements. When the linear functionals are Gaussian, we show that an s-sparse vector in R^n can be efficiently recovered from 2s log n measurements with high probability and a rank r, n by n matrix can be efficiently recovered from r(6n-5r) with high probability. For sparse vectors, this is within an additive factor of the best known nonasymptotic bounds. For low-rank matrices, this matches the best known bounds. We present a parallel analysis for block sparse vectors obtaining similarly tight bounds. In the case of sparse and block sparse signals, we additionally demonstrate that our bounds are only slightly weakened when the measurement map is a random sign matrix. Our results are based on analyzing a particular dual point which certifies optimality conditions of the respective convex programming problem. Our calculations rely only on standard large deviation inequalities and our analysis is self-contained.

研究动机与目标

• 推导从随机线性测量中恢复低复杂度模型（如稀疏向量和低秩矩阵）的简单、非渐近界。
• 通过单一的对偶点认证框架统一分析稀疏向量与低秩矩阵恢复的理论。
• 证明在高概率下，$2s\log n$ 个测量足以实现基于 $\ell_1$ 的 $s$-稀疏向量恢复。
• 建立在高概率下，$r(6n-5r)$ 个测量足以实现 $n\times n$ 秩为 $r$ 的矩阵的基于核范数的恢复。
• 将分析扩展至块稀疏信号和二值测量矩阵，证明在次高斯和伯努利分布下具有鲁棒性。

提出的方法

• 使用拉格朗日对偶性构造一个对偶证书，以证明凸松弛问题解的最优性。
• 通过浓度不等式分析从测量矩阵限制在解的切空间上的对偶向量 $\bm{q}$ 的范数。
• 应用 Davidson-Szarek 不等式，以有界高斯矩阵在切空间正交补上的投影的算子范数。
• 使用 Hoeffding 不等式和随机矩阵最小奇异值的尾部界，控制次高斯测量下对偶证书的范数。
• 通过确保对偶证书满足不等式 $\|\mathcal{P}_{T^\perp}(\bm{Y})\|_{\infty} < 1$ 以高概率成立，推导出测量数 $m$ 的界。
• 通过使用块-$\ell_1/\ell_2$ 范数并将 i.i.d. $\pm1$ 项的随机矩阵浓度界应用于块稀疏信号，将结果扩展至块稀疏信号。

实验结果

研究问题

• RQ1 通过 $\ell_1$ 最小化恢复 $s$-稀疏向量所需的最少高斯测量数是多少？
• RQ2 通过核范数最小化恢复秩为 $r$ 的矩阵所需的最少高斯测量数是多少？
• RQ3 当测量矩阵的元素为 i.i.d. $\pm m^{-1/2}$ 而非高斯分布时，恢复界如何变化？
• RQ4 相同的对偶点认证方法是否能对随机符号测量下的块稀疏信号产生紧致界？
• RQ5 在不损失界紧致性的情况下，该分析能在多大程度上推广至次高斯测量矩阵？

主要发现

• 对于 $s$-稀疏向量恢复，当测量矩阵元素为 i.i.d. 高斯分布且 $m \geq 2\beta s\log n + s$ 时，以至少 $1 - 2n^{-f(\beta,s)}$ 的概率可实现精确恢复，其中 $f(\beta,s)$ 是关于 $s$ 递增的正函数。
• 对于 $n \times n$ 矩阵中的秩为 $r$ 的矩阵恢复，当 $m \geq r(6n - 5r)$ 且测量矩阵为高斯分布时，以高概率可实现精确恢复，其结果与目前已知的最佳非渐近界一致。
• 在二值测量矩阵（元素为 i.i.d. $\pm m^{-1/2}$）下，若 $n \geq \exp(c_0/\epsilon^2)$，则当 $m \geq 2\beta(1-\epsilon)^{-2}s\log n + s$ 时，以高概率可实现精确恢复。
• 对于具有 $M$ 个块且 $k$ 个活跃块的块稀疏信号，当 $m \geq 4k\beta(1-\epsilon)^{-2}\log M + 2kB$ 且测量为二值时，以高概率可实现精确恢复。
• 对偶证书方法得到的界与目前已知的最佳结果仅相差常数因子，且分析仅依赖标准浓度不等式，无需深层泛函分析。
• 该方法可推广至次高斯测量矩阵，但对于低秩矩阵恢复，由于 $T$ 与 $T^\perp$ 之间缺乏独立性，若无新理论工具，界可能无法保持紧致性。