[论文解读] Dictionary LASSO: Guaranteed Sparse Recovery under Linear Transformation

Ji Liu, Lei Yuan+1 more|arXiv (Cornell University)|Apr 30, 2013

Sparse and Compressive Sensing Techniques参考文献 24被引用 8

一句话总结

本文提出了字典LASSO（Dictionary LASSO），一种用于在线性变换D下进行稀疏信号恢复的凸优化方法，证明了当D的条件数有界且测量数n的增长速度快于s log p时，可高概率恢复真实信号θ*。其主要贡献在于建立了在这些条件下具有一致性的理论误差界，推广了标准LASSO的结果。

ABSTRACT

We consider the following signal recovery problem: given a measurement matrix $Φ\in \mathbb{R}^{n imes p}$ and a noisy observation vector $c\in \mathbb{R}^{n}$ constructed from $c = Φθ^* + ε$ where $ε\in \mathbb{R}^{n}$ is the noise vector whose entries follow i.i.d. centered sub-Gaussian distribution, how to recover the signal $θ^*$ if $Dθ^*$ is sparse { ca under a linear transformation} $D\in\mathbb{R}^{m imes p}$? One natural method using convex optimization is to solve the following problem: $$\min_θ {1\over 2}\|Φθ- c\|^2 + λ\|Dθ\|_1.$$ This paper provides an upper bound of the estimate error and shows the consistency property of this method by assuming that the design matrix $Φ$ is a Gaussian random matrix. Specifically, we show 1) in the noiseless case, if the condition number of $D$ is bounded and the measurement number $n\geq Ω(s\log(p))$ where $s$ is the sparsity number, then the true solution can be recovered with high probability; and 2) in the noisy case, if the condition number of $D$ is bounded and the measurement increases faster than $s\log(p)$, that is, $s\log(p)=o(n)$, the estimate error converges to zero with probability 1 when $p$ and $s$ go to infinity. Our results are consistent with those for the special case $D=\bold{I}_{p imes p}$ (equivalently LASSO) and improve the existing analysis. The condition number of $D$ plays a critical role in our analysis. We consider the condition numbers in two cases including the fused LASSO and the random graph: the condition number in the fused LASSO case is bounded by a constant, while the condition number in the random graph case is bounded with high probability if $m\over p$ (i.e., $#text{edge}\over #text{vertex}$) is larger than a certain constant. Numerical simulations are consistent with our theoretical results.

研究动机与目标

• 解决信号在非标准基下、而是在线性变换D下稀疏时的稀疏信号恢复问题。
• 为字典LASSO方法提供理论保证，该方法是NP难稀疏恢复问题的凸松弛。
• 在次高斯噪声和高斯随机测量矩阵的条件下，分析该方法的估计误差与一致性。
• 表明D的条件数是恢复性能的关键因素，并对其影响进行界约束。
• 将现有LASSO理论扩展至通过变换D实现的更一般结构化稀疏情形。

提出的方法

• 将稀疏恢复问题表述为最小化最小二乘数据保真项与Dθ的ℓ1-范数惩罚项之和，即字典LASSO：minθ ½‖Φθ − c‖² + λ‖Dθ‖₁。
• 假设Φ为高斯随机矩阵，ε为独立同分布的次高斯噪声，以建模现实世界中的噪声观测。
• 利用受限强凸性论证与集中不等式，推导出估计误差‖θ̂ − θ*‖的上界。
• 分析D的条件数，表明有界条件数可确保恢复一致性。
• 建立在n ≥ Ω(s log p)时，噪声为零情况下可高概率实现恢复；在噪声情况下，当s log p = o(n)时，估计误差以概率1收敛于零。
• 针对两种关键情形提供理论分析：融合LASSO（条件数有界）和基于随机图的D（当边/顶点比超过阈值时，条件数以高概率有界）。

实验结果

研究问题

• RQ1 在何种条件下，字典LASSO可高概率恢复真实稀疏信号θ*？
• RQ2 变换矩阵D的条件数如何影响估计误差与恢复一致性？
• RQ3 标准LASSO的理论保证能否推广至通过线性变换D实现的更一般结构化稀疏情形？
• RQ4 在噪声设置下，一致恢复所需的测量率n/s log p是多少？
• RQ5 D的结构（如融合LASSO、随机图）如何影响条件数，从而影响恢复性能？

主要发现

• 在无噪声情况下，若D的条件数有界且n ≥ Ω(s log p)，则真实信号θ*可高概率被恢复。
• 在噪声情况下，若D的条件数有界且s log p = o(n)，则当p和s增大时，估计误差以概率1收敛于零。
• D的条件数是关键因素：条件数无界可能导致恢复性能差，即使测量数足够。
• 对于融合LASSO，条件数有界于常数，从而确保强理论保证。
• 对于基于随机图的D，当边/顶点比超过某一阈值时，条件数以高概率有界。
• 数值模拟验证了估计误差随条件数增加而上升，随问题规模增大而减小，与理论界一致。