[论文解读] Precise Error Analysis of the LASSO under Correlated Designs

Ayed M. Alrashdi, Houssem Sifaou+3 more|arXiv (Cornell University)|Aug 29, 2020

Sparse and Compressive Sensing Techniques参考文献 21被引用 5

一句话总结

本文利用凸高斯极小-最大定理（CGMT）对相关高斯设计矩阵下的LASSO进行了精确的渐近误差分析。通过仿真验证，推导出均方误差（MSE）、支持集恢复概率、元素误差率（EER）和余弦相似度的精确表达式，即使在有限维情况下也表现良好。

ABSTRACT

In this paper, we consider the problem of recovering a sparse signal from noisy linear measurements using the so called LASSO formulation. We assume a correlated Gaussian design matrix with additive Gaussian noise. We precisely analyze the high dimensional asymptotic performance of the LASSO under correlated design matrices using the Convex Gaussian Min-max Theorem (CGMT). We define appropriate performance measures such as the mean-square error (MSE), probability of support recovery, element error rate (EER) and cosine similarity. Numerical simulations are presented to validate the derived theoretical results.

研究动机与目标

• 为解决在实际应用中常见的相关设计矩阵下LASSO缺乏精确理论分析的问题。
• 将先前仅针对i.i.d.设计推导的LASSO性能保证，拓展至相关高斯设计。
• 为关键性能指标（包括MSE、EER、支持集恢复与余弦相似度）提供渐近精确的表达式。
• 通过数值仿真验证理论预测，表明其在有限维设置下仍具有高度准确性。

提出的方法

• 利用凸高斯极小-最大定理（CGMT）分析相关设计下LASSO的高维渐近行为。
• 将相关设计矩阵建模为 $\mathbf{A} = \boldsymbol{\Sigma}^{1/2}\mathbf{H}$，其中 $\mathbf{H}$ 的元素为i.i.d. $\mathcal{N}(0, 1/n)$，$\boldsymbol{\Sigma}$ 为已知的相关性矩阵。
• 通过分析LASSO解在 $m, n, k \to \infty$ 且固定比值 $m/n \to \delta$，$k/n \to \kappa$ 时的极限行为，推导性能指标的渐近表达式。
• 利用CGMT框架将原始优化问题简化为标量最小化问题，从而精确刻画解的统计特性。
• 在稀疏-Bernoulli信号模型下，推导出MSE、EER与余弦相似度的闭式表达式。
• 通过数值仿真验证理论预测，结果显示即使在中等规模问题中，理论与实验结果也高度吻合。

实验结果

研究问题

• RQ1 当设计矩阵相关时，LASSO的渐近均方误差（MSE）是多少？
• RQ2 设计矩阵的相关性如何影响成功支持集恢复的概率？
• RQ3 在相关设计下，LASSO的渐近元素误差率（EER）是多少？
• RQ4 在高维极限下，估计信号与真实信号之间的余弦相似度在相关设计下如何表现？
• RQ5 当理论预测应用于有限维问题时，其准确性如何？

主要发现

• 本文基于CGMT框架，推导出相关高斯设计下LASSO MSE的精确渐近表达式。
• 在稀疏-Bernoulli信号模型下，支持集恢复的渐近概率为 $\text{plim } \Phi_{\xi,\text{on}}(\widehat{\mathbf{x}}) = Q\left(\frac{\lambda}{\beta_\star} + \frac{\chi_\star(\xi+1)}{\alpha_\star\beta_\star}\right) + Q\left(\frac{\lambda}{\beta_\star} + \frac{\chi_\star(\xi-1)}{\alpha_\star\beta_\star}\right)$。
• 非支持集恢复的渐近概率为 $\text{plim } \Phi_{\xi,\text{off}}(\widehat{\mathbf{x}}) = 1 - 2Q\left(\frac{\lambda}{\beta_\star} + \frac{\chi_\star\xi}{\alpha_\star\beta_\star}\right)$。
• 渐近EER表达式为 $\text{plim } \text{EER}_\xi = Q\left(\frac{\chi_\star(1-\xi)}{\alpha_\star\beta_\star} - \frac{\lambda}{\beta_\star}\right) - Q\left(\frac{\chi_\star(1+\xi)}{\alpha_\star\beta_\star} + \frac{\lambda}{\beta_\star}\right) + 2Q\left(\frac{\chi_\star\xi}{\alpha_\star\beta_\star} + \frac{\lambda}{\beta_\star}\right)$。
• 余弦相似度由 $\text{plim } \cos(\angle(\widehat{\mathbf{x}}, \mathbf{x}_0)) = \frac{I_0}{\sqrt{\kappa(I_1 + I_2)}}$ 描述，其中 $I_0$、$I_1$ 与 $I_2$ 以闭式定义。
• 数值仿真表明，理论预测与实际结果高度一致，即使在中等系统维度下也验证了渐近分析的准确性。