[论文解读] A performance analysis framework for SOCP algorithms in noisy compressed sensing

Mihailo Stojnic|arXiv (Cornell University)|Mar 29, 2013

Sparse and Compressive Sensing Techniques参考文献 58被引用 7

一句话总结

本文提出了一种用于噪声压缩感知中二阶锥规划（SOCP）算法的统计性能分析框架。该框架能够精确刻画 $β$-稀疏恢复阈值及解的 $×2$-范数误差，表明在受限等距性（RIP）条件下，误差被有界为噪声水平的常数倍。

ABSTRACT

Solving under-determined systems of linear equations with sparse solutions attracted enormous amount of attention in recent years, above all, due to work of \cite{CRT,CanRomTao06,DonohoPol}. In \cite{CRT,CanRomTao06,DonohoPol} it was rigorously shown for the first time that in a statistical and large dimensional context a linear sparsity can be recovered from an under-determined system via a simple polynomial $\ell_1$-optimization algorithm. \cite{CanRomTao06} went even further and established that in \emph{noisy} systems for any linear level of under-determinedness there is again a linear sparsity that can be \emph{approximately} recovered through an SOCP (second order cone programming) noisy equivalent to $\ell_1$. Moreover, the approximate solution is (in an $\ell_2$-norm sense) guaranteed to be no further from the sparse unknown vector than a constant times the noise. In this paper we will also consider solving \emph{noisy} linear systems and present an alternative statistical framework that can be used for their analysis. To demonstrate how the framework works we will show how one can use it to precisely characterize the approximation error of a wide class of SOCP algorithms. We will also show that our theoretical predictions are in a solid agrement with the results one can get through numerical simulations.

研究动机与目标

• 开发一种用于分析噪声压缩感知中SOCP算法性能的统计框架。
• 以误差向量的 $×2$-范数为度量，精确刻画SOCP算法的近似误差。
• 建立在噪声系统中对 $k$-稀疏向量进行SOCP恢复性能的理论界。
• 通过数值模拟验证理论预测，展示理论结果与实验结果高度一致。
• 通过误差集中行为的共性，建立SOCP性能与LASSO型算法之间的关联。

提出的方法

• 该框架假设矩阵 $A$ 为独立同分布的标准正态分布，并分析如下SOCP问题：$\min \|\mathbf{x}\|_1 \text{ subject to } \|A\mathbf{x} - \mathbf{y}\|_2 \leq r_{\text{socp}}$。
• 通过考虑最坏情况下的误差向量 $\mathbf{w}_{\text{socp}} = \mathbf{x} - \hat{\mathbf{x}}$ 的 $\ell_2$-范数，引入一种通用的性能分析方法。
• 推导出临界阈值 $\beta_{\text{w}}^+$，使得当 $\beta < \beta_{\text{w}}^+$ 时，误差 $\|\mathbf{w}_{\text{socp}}\|_2$ 被有界为噪声水平 $\sigma$ 的常数倍。
• 采用参数 $r_{\text{socp}} = \sigma \sqrt{\alpha n}$ 来建模噪声容忍度，并在 $(\alpha, \beta)$-平面上推导性能曲线。
• 通过适当选择参数，将SOCP性能与LASSO联系起来，揭示二者在误差集中点上的等价性。
• 通过将理论预测与数值模拟进行比较，验证了该框架，结果在不同噪声水平和系统维数下均表现出高度一致性。

实验结果

研究问题

• RQ1 在噪声压缩感知中，SOCP算法的误差向量 $\ell_2$-范数的精确理论界是什么？
• RQ2 在SOCP公式下，恢复阈值 $\beta$（稀疏度水平）如何依赖于系统的欠定比 $\alpha = m/n$？
• RQ3 SOCP的性能能否被刻画为一种与噪声水平 $\sigma$ 线性相关的最坏情况误差？
• RQ4 残差容差 $r_{\text{socp}}$ 的选择如何影响误差性能与恢复阈值？
• RQ5 SOCP误差行为的理论预测在多大程度上与数值模拟结果一致？

主要发现

• 在受限等距性（RIP）条件下，SOCP算法实现有界的 $\ell_2$-误差，满足 $\|\mathbf{w}_{\text{socp}}\|_2 \leq C\sigma$，其中常数 $C$ 与 $n$ 无关。
• 该框架精确确定了临界稀疏度阈值 $\beta_{\text{w}}^+$，使得当 $\beta < \beta_{\text{w}}^+$ 时，最坏情况下的 $\ell_2$-误差被有界为 $\sigma$ 的常数倍。
• 理论预测的 $(\alpha, \beta_{\text{w}}^+)$-曲线与数值模拟结果高度吻合，尤其在高 $\alpha$ 区域表现更佳。
• 选择 $r_{\text{socp}} = \sigma \sqrt{\alpha n}$ 比 $r_{\text{socp}} = \sigma \sqrt{\frac{\alpha}{1+\rho^2}n}$ 能获得更优的误差性能，且在高 $\alpha$ 时差异更为显著。
• 在适当参数调节下，SOCP算法的误差集中点与LASSO算法一致，建立了两者之间的理论联系。
• 该框架不仅适用于通用（最坏情况）场景，还可高精度地分析依赖于问题特性的场景，如块稀疏或部分已知解的情况。