[论文解读] Asymptotic Analysis of LASSOs Solution Path with Implications for Approximate Message Passing

Ali Mousavi, Arian Maleki+1 more|arXiv (Cornell University)|Sep 23, 2013

Advanced MIMO Systems Optimization参考文献 33被引用 22

一句话总结

本文对LASSO解路径在正则化参数λ变化时的渐近行为进行了分析，表明在高维极限下，活跃集大小单调递减，均方误差呈拟凸性。这些结果为近似消息传递（AMP）算法提供了一种新型高效阈值策略，提升了其在稀疏信号恢复中的精度与可靠性。

ABSTRACT

This paper concerns the performance of the LASSO (also knows as basis pursuit denoising) for recovering sparse signals from undersampled, randomized, noisy measurements. We consider the recovery of the signal $x_o \in \mathbb{R}^N$ from $n$ random and noisy linear observations $y= Ax_o + w$, where $A$ is the measurement matrix and $w$ is the noise. The LASSO estimate is given by the solution to the optimization problem $x_o$ with $\hat{x}_λ = \arg \min_x \frac{1}{2} \|y-Ax\|_2^2 + λ\|x\|_1$. Despite major progress in the theoretical analysis of the LASSO solution, little is known about its behavior as a function of the regularization parameter $λ$. In this paper we study two questions in the asymptotic setting (i.e., where $N ightarrow \infty$, $n ightarrow \infty$ while the ratio $n/N$ converges to a fixed number in $(0,1)$): (i) How does the size of the active set $\|\hat{x}_λ\|_0/N$ behave as a function of $λ$, and (ii) How does the mean square error $\|\hat{x}_λ - x_o\|_2^2/N$ behave as a function of $λ$? We then employ these results in a new, reliable algorithm for solving LASSO based on approximate message passing (AMP).

研究动机与目标

• 理解在高维设定下，LASSO解路径随正则化参数λ变化的行为。
• 通过分析渐近情形，解决有限维情况下观察到的活跃集大小反直觉的非单调行为。
• 为设计近似消息传递（AMP）算法中高效、自适应的阈值策略提供理论基础。
• 在渐近条件下，建立LASSO估计的均方误差（MSE）关于λ的拟凸性，从而实现对λ的可靠优化。
• 基于渐近解路径分析，提出一种新型、可证明准确的AMP阈值策略。

提出的方法

• 在N → ∞且n/N → δ ∈ (0,1)的极限下进行渐近分析，假设测量矩阵为i.i.d.高斯分布，且信号为稀疏信号。
• 通过优化问题分析LASSO解路径：min_x (1/2)‖y − Ax‖₂² + λ‖x‖₁，追踪解随λ的变化。
• 推导出活跃集大小‖x̂_λ‖₀/N与归一化MSE ‖x̂_λ − xₒ‖₂²/N在λ上的渐近表达式。
• 提出一种基于渐近解路径的新固定阈值策略用于近似消息传递（AMP），采用依赖于λ的阈值。
• 使用每组参数设置20次的蒙特卡洛模拟，对理论相变曲线进行经验验证。
• 在δ与ρ值的网格上使用线性插值，构建经验恢复概率的热力图，并与理论相变曲线进行比较。

实验结果

研究问题

• RQ1 在渐近情形下，活跃集大小‖x̂_λ‖₀/N如何随正则化参数λ变化？
• RQ2 在高维极限下，归一化均方误差‖x̂_λ − xₒ‖₂²/N如何随λ变化？
• RQ3 能否利用LASSO解路径的渐近行为，设计出更可靠的近似消息传递（AMP）阈值策略？
• RQ4 采用新阈值策略的AMP的相变行为如何？与理论预测相比有何差异？
• RQ5 为何有限维LASSO解在某些情况下表现出非单调的活跃集行为？这种现象在渐近极限下是否典型？

主要发现

• 在渐近情形（N → ∞，n/N → δ ∈ (0,1)）下，归一化活跃集大小‖x̂_λ‖₀/N是λ的递减函数，解决了有限维情况下观察到的非单调行为。
• 归一化均方误差‖x̂_λ − xₒ‖₂²/N是λ的拟凸函数，意味着存在唯一最小值，从而可实现对λ的高效优化。
• 由渐近分析导出的理论相变曲线与蒙特卡洛模拟中的经验恢复概率高度吻合，验证了理论模型的正确性。
• 基于渐近解路径设计的新固定阈值策略，使AMP能够以高概率准确恢复稀疏信号。
• 经验结果表明，相变曲线（成功与失败的边界）与理论预测高度一致，证实了渐近分析的有效性。
• 有限维情形下活跃集的病态非单调行为（如图1所示）被证明是罕见的，且不代表渐近行为，后者表现良好且可预测。