[论文解读] Compressed Sensing over $\ell_p$-balls: Minimax Mean Square Error

David L. Donoho, Iain M. Johnstone+2 more|arXiv (Cornell University)|Mar 10, 2011

Sparse and Compressive Sensing Techniques参考文献 25被引用 13

一句话总结

本文对高维压缩感知中 $\beta$-惩罚最小二乘重构（LASSO）在 $\beta_p$-球上的最小最大均方误差（AMSE）提供了精确的渐近分析。在 i.i.d. 高斯测量矩阵和渐近 regime $n,N \to \infty$ 且 $n/N = \delta$ 的条件下，推导出最坏情况 AMSE 的精确常数因子和收敛速率，形式为 $\xi^2 \cdot \left(\frac{2\log(N/n)}{n}\right)^{2/p - 1} \cdot (1+o(1))$，揭示了其与标量软阈值化及 AMP 算法的深层联系。

ABSTRACT

We consider the compressed sensing problem, where the object $x_0 \in \bR^N$ is to be recovered from incomplete measurements $y = Ax_0 + z$; here the sensing matrix $A$ is an $n imes N$ random matrix with iid Gaussian entries and $n < N$. A popular method of sparsity-promoting reconstruction is $\ell^1$-penalized least-squares reconstruction (aka LASSO, Basis Pursuit). It is currently popular to consider the strict sparsity model, where the object $x_0$ is nonzero in only a small fraction of entries. In this paper, we instead consider the much more broadly applicable $\ell_p$-sparsity model, where $x_0$ is sparse in the sense of having $\ell_p$ norm bounded by $ξ\cdot N^{1/p}$ for some fixed $0 < p \leq 1$ and $ξ> 0$. We study an asymptotic regime in which $n$ and $N$ both tend to infinity with limiting ratio $n/N = δ\in (0,1)$, both in the noisy ($z eq 0$) and noiseless ($z=0$) cases. Under weak assumptions on $x_0$, we are able to precisely evaluate the worst-case asymptotic minimax mean-squared reconstruction error (AMSE) for $\ell^1$ penalized least-squares: min over penalization parameters, max over $\ell_p$-sparse objects $x_0$. We exhibit the asymptotically least-favorable object (hardest sparse signal to recover) and the maximin penalization. Our explicit formulas unexpectedly involve quantities appearing classically in statistical decision theory. Occurring in the present setting, they reflect a deeper connection between penalized $\ell^1$ minimization and scalar soft thresholding. This connection, which follows from earlier work of the authors and collaborators on the AMP iterative thresholding algorithm, is carefully explained. Our approach also gives precise results under weak-$\ell_p$ ball coefficient constraints, as we show here.

研究动机与目标

• 填补压缩感知中 $k$-稀疏模型与更现实的 $\ell_p$-球稀疏模型之间精度差距的空白。
• 推导 $\ell^1$-惩罚最小二乘法（LASSO）在 $\ell_p$-球约束下最坏情况最小最大均方误差（AMSE）的精确渐近表达式。
• 识别 $\ell_p$-球模型中最不利信号（最难恢复的信号）以及最大化最小惩罚参数。
• 通过近似消息传递（AMP）框架，建立 $\ell^1$-惩罚重构与标量软阈值化之间的精确联系。

提出的方法

• 分析高维渐近 regime，其中 $n,N \to \infty$ 且 $n/N = \delta \in (0,1)$，使用 i.i.d. 高斯测量矩阵。
• 应用近似消息传递（AMP）算法及其理论性质，推导渐近均方误差的精确表达式。
• 利用先前 AMP 研究中建立的 $\ell^1$-惩罚最小二乘法与标量软阈值化之间的联系，推导最小最大结果。
• 对 $x_0$ 施加弱正则性条件，并引入一致可积性条件，以确保矩的收敛性。
• 通过在惩罚参数 $\lambda$ 上最小化、在所有满足 $\|x_0\|_p^p \leq N\xi^p$ 的 $\ell_p$-稀疏信号 $x_0$ 上最大化，推导最小最大 AMSE。
• 通过与 Gel'fand $n$-宽度及压缩感知中已知下界比较，验证结果的有效性。

实验结果

研究问题

• RQ1 在 $\ell_p$-球上，$\ell^1$-惩罚最小二乘重构的精确渐近最坏情况最小最大均方误差（AMSE）是什么？
• RQ2 在高维渐近下，$\ell_p$-球模型中最具挑战性的信号（最难恢复的信号）是什么？
• RQ3 实现最优最坏情况 AMSE 的最大化最小惩罚参数 $\lambda$ 是什么？
• RQ4 最小最大 AMSE 如何随问题维度 $n,N$ 和稀疏性参数 $p$ 变化？
• RQ5 在此渐近 regime 下，$\ell^1$-惩罚重构与标量软阈值化之间存在何种精确联系？

主要发现

• 在 $\ell_p$-球上对 LASSO 进行最优调参后，其最坏情况渐近最小最大均方误差（AMSE）渐近为 $\xi^2 \cdot \left(\frac{2\log(N/n)}{n}\right)^{2/p - 1} \cdot (1+o(1))$。
• 最难恢复的信号被明确刻画，其对应于 $\ell_p$-球约束下大值与小值分量的特定配置。
• 实现最小最大 AMSE 的最大化最小惩罚参数 $\lambda$ 被精确确定，其依赖于 $p$、$\xi$ 和问题维度。
• 分析表明，极端欠采样（$n/N \to 0$ 缓慢）在渐近意义上等价于添加噪声，其有效噪声水平与 $\log(N/n)/n$ 相关。
• $\ell^1$-惩罚重构与标量软阈值化之间的联系并非仅是启发式，而是通过 AMP 算法及其收敛性质正式建立。
• 结果对弱 $\ell_p$-球约束具有鲁棒性，在较弱的矩条件下依然成立，表明其具有广泛适用性。