[论文解读] Accurate Prediction of Phase Transitions in Compressed Sensing via a Connection to Minimax Denoising

David L. Donoho, Iain M. Johnstone+1 more|arXiv (Cornell University)|Nov 4, 2011

Sparse and Compressive Sensing Techniques被引用 13

一句话总结

本文建立了压缩感知中相变与去噪算子最小极大均方误差（MSE）之间的精确联系，表明近似消息传递（AMP）算法的相变曲线恰好等于相关去噪问题中对应去噪器的最小极大MSE。关键贡献是一个通用公式：δ = M(ε|denoiser)，其中δ为欠采样率，ε为稀疏度分数，M为去噪器的最小极大MSE，该公式适用于标量与非标量去噪器，包括软阈值化、牢固收缩、极小极大、块阈值化、单调回归及总变差去噪。

ABSTRACT

Compressed sensing posits that, within limits, one can undersample a sparse signal and yet reconstruct it accurately. Knowing the precise limits to such undersampling is important both for theory and practice. We present a formula that characterizes the allowed undersampling of generalized sparse objects. The formula applies to Approximate Message Passing (AMP) algorithms for compressed sensing, which are here generalized to employ denoising operators besides the traditional scalar soft thresholding denoiser. This paper gives several examples including scalar denoisers not derived from convex penalization -- the firm shrinkage nonlinearity and the minimax nonlinearity -- and also nonscalar denoisers -- block thresholding, monotone regression, and total variation minimization. Let the variables eps = k/N and delta = n/N denote the generalized sparsity and undersampling fractions for sampling the k-generalized-sparse N-vector x_0 according to y=Ax_0. Here A is an n\ imes N measurement matrix whose entries are iid standard Gaussian. The formula states that the phase transition curve delta = delta(eps) separating successful from unsuccessful reconstruction of x_0 by AMP is given by: delta = M(eps| Denoiser), where M(eps| Denoiser) denotes the per-coordinate minimax mean squared error (MSE) of the specified, optimally-tuned denoiser in the directly observed problem y = x + z. In short, the phase transition of a noiseless undersampling problem is identical to the minimax MSE in a denoising problem.

研究动机与目标

• 表征在欠采样条件下广义稀疏信号压缩感知的精确相变极限。
• 在相关去噪问题中，建立AMP算法相变与去噪算子最小极大MSE之间的理论联系。
• 将AMP推广至传统软阈值化之外，涵盖非凸与结构化去噪器，如牢固收缩、极小极大、块阈值化、单调回归与总变差去噪。
• 提供一个统一框架，利用状态演化与去噪器特定的最小极大风险，预测压缩感知中的恢复性能。

提出的方法

• 推导出将相变曲线δ = M(ε|denoiser)与噪声观测模型y = x + z中去噪器的最小极大MSE相联系的一般公式。
• 应用状态演化理论，严格证明AMP使用任意去噪算子时的相变公式的正确性。
• 利用Stein无偏风险估计（SURE）及非中心卡方分布的性质，计算各类去噪器的最小极大MSE。
• 在包括标量（牢固收缩、极小极大）与非标量（块、单调回归、总变差）类型的多种去噪器上，通过数值方法验证该公式。
• 采用渐近分析与状态演化收敛性结果，确立相变预测有效性的理论基础。
• 证明去噪器的最小极大风险直接决定了AMP在恢复稀疏信号时成功或失败的临界欠采样率δ。

实验结果

研究问题

• RQ1 能否利用去噪算子的最小极大均方误差来预测压缩感知中的相变？
• RQ2 给定去噪器的AMP相变是否恰好等于该去噪器在去噪问题中的最小极大MSE？
• RQ3 公式δ = M(ε|denoiser)如何推广至标准软阈值化之外，涵盖非凸与结构化去噪器？
• RQ4 状态演化在证明相变与最小极大去噪风险等价性中起到什么作用？
• RQ5 不同去噪策略——标量、块、单调、总变差——如何影响压缩感知中的临界欠采样率？

主要发现

• 压缩感知中AMP的相变曲线恰好等于算法所用去噪器的最小极大均方误差（MSE），即δ = M(ε|denoiser)。
• 对于极小极大去噪器，零信号强度下的最小极大MSE（R(0)）随维度d增大而收敛于1，且当d较大时存在约0.752/√d的校正项。
• James-Stein去噪器的风险函数R(μ)在‖μ‖²上严格递增，这确保了状态演化映射的星形性质，并支持其收敛性。
• 公式δ = M(ε|denoiser)适用于广泛去噪器，包括牢固收缩、极小极大、块软阈值化、单调回归与总变差去噪，验证了其广泛适用性。
• 数值结果在所有测试去噪器上均证实了理论预测，预测与实测相变曲线高度一致。
• 相变与最小极大去噪风险之间的联系，为在无需大量模拟的情况下预测压缩感知中的恢复极限，提供了一项强大新工具。