[论文解读] Does $\ell_p$-minimization outperform $\ell_1$-minimization?

Le Zheng, Arian Maleki+3 more|arXiv (Cornell University)|Jan 15, 2015

Sparse and Compressive Sensing Techniques参考文献 39被引用 15

一句话总结

本文研究了在从噪声性、欠采样线性测量中恢复稀疏信号时，ℓₚ-最小化（0 ≤ p < 1）是否优于 ℓ₁-最小化（LASSO）。通过在渐近极限下使用近似消息传递（AMP）和副本分析，结果表明：在无噪声情况下，当 p < 1 时，ℓₚ-最小化相较于 LASSO 具有更好的相变性能；但在有噪声情况下，性能高度依赖于噪声水平，其中在低噪声时 p = 0 表现最佳，而在高噪声时 p = 1 表现最佳。

ABSTRACT

In many application areas we are faced with the following question: Can we recover a sparse vector $x_o \in \mathbb{R}^N$ from its undersampled set of noisy observations $y \in \mathbb{R}^n$, $y=A x_o+w$. The last decade has witnessed a surge of algorithms and theoretical results addressing this question. One of the most popular algorithms is the $\ell_p$-regularized least squares (LPLS) given by the following formulation: \[ \hat{x}(γ,p )\in \arg\min_x \frac{1}{2}\|y - Ax\|_2^2+γ\|x\|_p^p, \] where $p \in [0,1]$. Despite the non-convexity of these problems for $p&lt;1$, they are still appealing because of the following folklores in compressed sensing: (i) $\hat{x}(γ,p )$ is closer to $x_o$ than $\hat{x}(γ,1)$. (ii) If we employ iterative methods that aim to converge to a local minima of LPLS, then under good initialization these algorithms converge to a solution that is closer to $x_o$ than $\hat{x}(γ,1)$. In spite of the existence of plenty of empirical results that support these folklore theorems, the theoretical progress to establish them has been very limited. This paper aims to study the above folklore theorems and establish their scope of validity. Starting with approximate message passing algorithm as a heuristic method for solving LPLS, we study the impact of initialization on the performance of AMP. Then, we employ the replica analysis to show the connection between the solution of AMP and $\hat{x}(γ, p)$ in the asymptotic settings. This enables us to compare the accuracy of $\hat{x}(γ,p)$ for $p \in [0,1]$. In particular, we will characterize the phase transition and noise sensitivity of LPLS for every $0\leq p\leq 1$ accurately. Our results in the noiseless setting confirm that LPLS exhibits the same phase transition for every $0\leq p &lt;1$ and this phase transition is much higher than that of LASSO.

研究动机与目标

• 严格评估关于 ℓₚ-最小化（p < 1）在稀疏信号恢复方面优于 LASSO（ℓ₁-最小化）的常识性说法。
• 理解初始化对非凸 ℓₚ-正则化最小二乘法迭代算法的影响。
• 通过渐近分析表征 ℓₚ-最小化在所有 p ∈ [0,1] 下的相变特性与噪声敏感性。
• 确定 AMP 在何种条件下收敛至 ℓₚ-最小化全局最优解，以及该收敛是否依赖于初始化。

提出的方法

• 将近似消息传递（AMP）作为 ℓₚ-正则化最小二乘法的启发式求解器，追踪在 i.i.d. 随机测量矩阵下的状态演化。
• 使用副本分析——一种统计物理技术——表征 AMP 的渐近性能，并将其与 ℓₚ-正则化最小二乘法的全局最小值联系起来。
• 推导 AMP 的状态演化方程，建模高维极限下估计误差与去噪函数行为的演化过程。
• 分析 AMP 的不动点，以确定其在何种条件下能恢复真实的稀疏信号，取决于稀疏度水平与噪声方差。
• 通过渐近期望比较不同 p 值与噪声水平下 ℓₚ 与 ℓ₁ 解的均方误差（MSE）。
• 通过数值模拟与理论极限验证理论预测，特别关注成功恢复的临界稀疏度阈值 δ*。

实验结果

研究问题

• RQ1 在无噪声设定下，ℓₚ-最小化（p < 1）是否相比 LASSO 具有更好的相变性能？若是，对哪些 p 值成立？
• RQ2 ℓₚ-最小化在测量噪声下的性能如何？在低噪声或高噪声条件下，哪些 p 值表现最优？
• RQ3 迭代求解器的初始化在多大程度上影响其收敛至 ℓₚ-正则化最小二乘法全局最优解？
• RQ4 在何种条件下，AMP 能够收敛至 ℓₚ-正则化最小二乘法的全局最小值，且不依赖于初始化？
• RQ5 在噪声敏感性与恢复精度方面，ℓₚ-最小化与 ℓ₁-最小化之间是否存在根本性的性能差距？

主要发现

• 在无噪声设定下，任何 p ∈ [0,1) 的 ℓₚ-最小化均能达到与 ℓ₀-最小化相同的改进相变阈值，显著优于 LASSO（p = 1）。
• 在有噪声设定下，p = 0（硬阈值化）在极低噪声水平下表现最优，因其对微小扰动的敏感性更低。
• 在高噪声水平下，p = 1（LASSO）在所有 ℓₚ-最小化器中表现最优，因其噪声放大最小且最具鲁棒性。
• ℓₚ-最小化的性能对噪声极为敏感：中间 p 值（如 p = 0.5）在低噪声与高噪声环境下均表现不佳。
• AMP 仅当稀疏度水平低于临界阈值 δ*(p) 时，才能恢复 ℓₚ-正则化最小二乘法的全局最小值，而 δ*(p) 依赖于 p，且低于优化问题的实际相变阈值。
• 副本分析能准确表征 ℓₚ-最小化在渐近条件下的 MSE 与噪声敏感性，证实当 p < 1 时，ℓₚ-最小化在有利噪声条件下可优于 LASSO。