[论文解读] A framework to characterize performance of LASSO algorithms

Mihailo Stojnic|arXiv (Cornell University)|Mar 29, 2013

Sparse and Compressive Sensing Techniques参考文献 63被引用 99

一句话总结

本文提出了一套严格的分析框架，用于表征在存在噪声的欠定线性系统中使用LASSO算法求解稀疏解时的性能。通过将先前关于$β$-稀疏恢复的工作扩展至该场景，推导出在i.i.d.高斯设计矩阵下，LASSO型优化的精确最坏情况$×$-范数误差界，验证了与已知理论结果的高度一致，并揭示了一种具有相同性能的等价SOCP算法。

ABSTRACT

In this paper we consider solving \emph{noisy} under-determined systems of linear equations with sparse solutions. A noiseless equivalent attracted enormous attention in recent years, above all, due to work of \cite{CRT,CanRomTao06,DonohoPol} where it was shown in a statistical and large dimensional context that a sparse unknown vector (of sparsity proportional to the length of the vector) can be recovered from an under-determined system via a simple polynomial $\ell_1$-optimization algorithm. \cite{CanRomTao06} further established that even when the equations are \emph{noisy}, one can, through an SOCP noisy equivalent of $\ell_1$, obtain an approximate solution that is (in an $\ell_2$-norm sense) no further than a constant times the noise from the sparse unknown vector. In our recent works \cite{StojnicCSetam09,StojnicUpper10}, we created a powerful mechanism that helped us characterize exactly the performance of $\ell_1$ optimization in the noiseless case (as shown in \cite{StojnicEquiv10} and as it must be if the axioms of mathematics are well set, the results of \cite{StojnicCSetam09,StojnicUpper10} are in an absolute agreement with the corresponding exact ones from \cite{DonohoPol}). In this paper we design a mechanism, as powerful as those from \cite{StojnicCSetam09,StojnicUpper10}, that can handle the analysis of a LASSO type of algorithm (and many others) that can be (or typically are) used for "solving" noisy under-determined systems. Using the mechanism we then, in a statistical context, compute the exact worst-case $\ell_2$ norm distance between the unknown sparse vector and the approximate one obtained through such a LASSO. The obtained results match the corresponding exact ones obtained in \cite{BayMon10,DonMalMon10}. Moreover, as a by-product of our analysis framework we recognize existence of an SOCP type of algorithm that achieves the same performance.

研究动机与目标

• 开发一个数学上严谨的框架，用于分析在存在噪声的欠定线性系统中使用LASSO算法求解稀疏解时的性能。
• 将先前在无噪声情况下获得的精确恢复结果扩展至有噪声场景，特别是针对$×$-范数误差的表征。
• 建立LASSO估计解与真实稀疏向量之间最坏情况$×$-范数距离的精确理论界。
• 证明存在一种SOCP型算法，其误差性能与LASSO完全相同，作为分析的副产品。
• 为未来工作奠定基础，以分析问题相关或非典型LASSO性能，包括结构化或近似稀疏解的情形。

提出的方法

• 将先前无噪声$×$-优化研究中使用的强大分析工具（例如，[63, 62]）适配至有噪声的LASSO场景。
• 采用统计的高维渐近框架，假设$m = \alpha n$，$k = \beta n$，且测量矩阵$A$的元素为i.i.d.标准正态分布。
• 推导出关键性能指标的精确表达式，包括误差向量$\|\mathbf{w}_{\text{lasso}}\|_2$的期望$\u00d7$-范数。
• 引入并分析两种变体：标准LASSO和带非负性约束的约束版本，均在相同框架下进行。
• 采用基于轮廓的方法，确定与固定信噪比（$\rho = \mathbb{E}\|\mathbf{w}_{\text{lasso}}\|_2 / \sigma$）对应的临界参数（$\beta_{w}^{+}$）。
• 通过在每个$\alpha$和$\beta_{w}^{+}$组合下进行100次独立的蒙特卡洛模拟，验证理论预测。

实验结果

研究问题

• RQ1 在存在噪声的欠定线性系统中，LASSO估计器的精确最坏情况$\u00d7$-范数误差是多少？
• RQ2 在高维、i.i.d.高斯矩阵的设定下，LASSO算法的性能如何随系统维度（$n$）、稀疏度（$k$）和噪声水平（$\sigma$）变化？
• RQ3 所提出的框架能否在有噪声的LASSO场景下重现先前工作（如[6, 26]）中的已知理论结果？
• RQ4 是否存在一种SOCP型优化算法，其$\u00d7$-范数误差性能与LASSO完全相同？若存在，其理论性质如何？
• RQ5 数值实验在多组$\alpha$和$\beta_{w}^{+}$参数范围内，多大程度上验证了该框架的理论预测？

主要发现

• 该框架成功计算出LASSO估计器的精确最坏情况$\u00d7$-范数误差，理论预测与数值实验高度一致。
• 当$\rho = 2$（信噪比）时，误差向量的期望$\u00d7$-范数$\|\mathbf{w}_{\text{lasso}}\|_2$在$n \to \infty$时收敛于$2$，数值结果在$n=2000$时为$1.9876$。
• 当$\rho = 3$时，期望$\|\mathbf{w}_{\text{lasso}}\|_2$收敛于$3$，数值结果在$n=1500$时为$3.0218$，与理论预测一致。
• 该框架识别出一种SOCP型算法，其$\u00d7$-范数误差性能与LASSO完全相同，验证了其在最坏情况下的等价性。
• 数值实验在多个$\alpha$值（$0.3, 0.5, 0.7$）和噪声水平（$\rho = 2, 3$）下，均显示理论预测与模拟结果高度一致。
• 该框架具有足够的通用性，可进一步扩展用于分析问题相关或非典型LASSO性能，例如块稀疏、二值或低秩结构化解的情形。