[论文解读] Asymptotically Exact Denoising in Relation to Compressed Sensing

Samet Oymak, Babak Hassibi|arXiv (Cornell University)|May 13, 2013

Sparse and Compressive Sensing Techniques参考文献 49被引用 6

一句话总结

该论文建立了通过凸优化正则化实现渐近精确去噪与压缩感知相变之间的精确联系。通过使用结构诱导凸函数 f，证明了最优估计器的归一化均方误差（MSE）与从 x₀ 处 f 的次微分导出的相变阈值 ∆f(x₀) 完全匹配，前提是噪声为独立同分布的高斯噪声。

ABSTRACT

We consider the denoising problem where we wish to estimate a structured signal x0 from corrupted observations y = x0 + z. Typical structures include sparsity, block sparsity and low rankness. We use a structure inducing convex function f and solve minx 1 2 ‖y−x‖22 +λf(x) to estimate x0. For example, f(·) is the `1 norm for sparse vectors, `1 − `2 norm for block-sparse signals and it is the nuclear norm for low rank matrices. When the noise vector z is i.i.d. Gaussian, we show that the normalized estimation error (MSE) of the optimally tuned problem coincides with the compressed sensing phase transitions, i.e., the number ∆f (x0) so that one needs m> ∆f (x0) compressed observations Ax0 ∈ Rm to recover x0 by solving minAx=Ax0 f(x). ∆f (x0) can be given as an explicit formula based on the subdifferential of f(·) at x0. We then connect our results to the generalized LASSO problem in which we have m noisy compressed observations y = Ax0 + z ∈ Rm and solve minf(x)≤f(x0) ‖y−Ax‖22. We show that, certain properties of

研究动机与目标

• 建立凸优化正则化去噪与压缩感知相变之间的理论联系。
• 将去噪中的归一化均方误差（MSE）表征为与压缩感知相变阈值 ∆f(x₀) 等价。
• 基于结构诱导函数 f 在真实信号 x₀ 处的次微分，推导出 ∆f(x₀) 的显式公式。
• 将结果扩展至具有压缩、噪声观测的广义 LASSO 问题。
• 证明去噪中的估计误差与压缩感知中实现精确恢复所需的最小测量数具有镜像关系。

提出的方法

• 将去噪问题形式化为凸优化问题：最小化 ½‖y−x‖²₂ + λf(x)，其中 y = x₀ + z，z 为独立同分布的高斯噪声。
• 使用结构诱导函数 f，例如 ℓ¹ 范数用于稀疏性，ℓ¹−ℓ² 范数用于块稀疏性，以及核范数用于低秩矩阵。
• 推导最优估计器的归一化 MSE，并证明其等于压缩感知相变阈值 ∆f(x₀)。
• 通过 f 在 x₀ 处的次微分显式表达 ∆f(x₀)，将 f 的几何性质与统计估计性能联系起来。
• 分析具有 m 个噪声压缩观测 y = Ax₀ + z 的广义 LASSO 问题，求解 min‖y−Ax‖²₂ 且满足 f(x) ≤ f(x₀)。
• 证明在此设定下，估计误差继承了与去噪情形相同的相变行为。

实验结果

研究问题

• RQ1 凸去噪中的归一化均方误差能否被压缩感知相变阈值精确表征？
• RQ2 阈值 ∆f(x₀) 的显式公式如何基于结构诱导函数 f 在 x₀ 处的次微分表达？
• RQ3 广义 LASSO 估计器的性能与压缩感知中的相变行为有何关系？
• RQ4 去噪问题在多大程度上反映了压缩感知中实现精确恢复所需的最小测量数？
• RQ5 在何种条件下，最优调节正则化参数 λ 能够实现去噪设定下的渐近精确恢复？

主要发现

• 最优调节的凸去噪估计器的归一化均方误差（MSE）与压缩感知相变阈值 ∆f(x₀) 完全匹配。
• 阈值 ∆f(x₀) 由结构诱导函数 f 在真实信号 x₀ 处的次微分显式确定。
• 对于稀疏信号，∆f(x₀) 对应该 ℓ¹ 范数在 x₀ 处的次微分，将估计误差与稀疏性结构联系起来。
• 对于块稀疏信号，ℓ¹−ℓ² 范数诱导的相变阈值反映了信号中的块结构。
• 对于低秩矩阵，核范数导致的阈值 ∆f(x₀) 决定了实现精确恢复所需的最小测量数。
• 广义 LASSO 问题继承了相同的相变行为，表明压缩感知恢复极限也控制了噪声压缩观测下的估计误差。