[论文解读] Consistent Parameter Estimation for LASSO and Approximate Message Passing

Ali Mousavi, Arian Maleki+1 more|arXiv (Cornell University)|Nov 3, 2015

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文对LASSO和近似消息传递（AMP）进行了渐近分析，表明其解的活跃集大小和均方误差（MSE）随正则化参数λ或阈值参数τᵗ的变化具有可预测性。本文提出了一种计算高效、渐近一致的AMP参数调优方法，其性能可达到与最优调优的LASSO解相当的最优MSE。

ABSTRACT

We consider the problem of recovering a vector $β_o \in \mathbb{R}^p$ from $n$ random and noisy linear observations $y= Xβ_o + w$, where $X$ is the measurement matrix and $w$ is noise. The LASSO estimate is given by the solution to the optimization problem $\hatβ_λ = \arg \min_β \frac{1}{2} \|y-Xβ\|_2^2 + λ\| β\|_1$. Among the iterative algorithms that have been proposed for solving this optimization problem, approximate message passing (AMP) has attracted attention for its fast convergence. Despite significant progress in the theoretical analysis of the estimates of LASSO and AMP, little is known about their behavior as a function of the regularization parameter $λ$, or the thereshold parameters $τ^t$. For instance the following basic questions have not yet been studied in the literature: (i) How does the size of the active set $\|\hatβ^λ\|_0/p$ behave as a function of $λ$? (ii) How does the mean square error $\|\hatβ_λ - β_o\|_2^2/p$ behave as a function of $λ$? (iii) How does $\|β^t - β_o \|_2^2/p$ behave as a function of $τ^1, \ldots, τ^{t-1}$? Answering these questions will help in addressing practical challenges regarding the optimal tuning of $λ$ or $τ^1, τ^2, \ldots$. This paper answers these questions in the asymptotic setting and shows how these results can be employed in deriving simple and theoretically optimal approaches for tuning the parameters $τ^1, \ldots, τ^t$ for AMP or $λ$ for LASSO. It also explores the connection between the optimal tuning of the parameters of AMP and the optimal tuning of LASSO.

研究动机与目标

• 理解LASSO与AMP解的活跃集大小和均方误差（MSE）如何依赖于正则化参数λ或阈值参数τᵗ。
• 解决LASSO与AMP中参数调优行为缺乏理论理解的问题，特别是在高维渐近情形下。
• 开发一种计算高效且渐近一致的AMP参数调优方法，使其性能可与LASSO的最优性能相匹配。
• 在渐近极限下，建立AMP最优调优与LASSO最优调优之间的理论联系。

提出的方法

• 在p → ∞且n/p → δ ∈ (0,1)的极限下，利用随机矩阵理论与渐近统计分析，研究LASSO与AMP的渐近行为。
• 推导活跃集大小‖β̂λ‖₀/p关于λ的函数关系，以及MSE ‖β̂λ − βₒ‖₂²/p关于λ的函数关系，表明MSE在λ上具有拟凸性。
• 提出一种改进的二分法，用于迭代调优AMP的阈值参数τ¹, τ², ..., τᵗ，基于MSE的渐近行为。
• 利用状态演化框架对AMP的动力学进行建模，并推导出一种渐近最小化MSE的一致调优规则。
• 通过模拟验证所提出的调优方案，将其与网格搜索、最大最小法和恒定阈值法在收敛速度与重构精度方面进行比较。
• 证明在所提调优方法下，AMP的最优解可达到与最优λ调优的LASSO解相同的MSE。

实验结果

研究问题

• RQ1 在LASSO估计器中，活跃集大小‖β̂λ‖₀/p如何随正则化参数λ变化？
• RQ2 MSE ‖β̂λ − βₒ‖₂²/p如何随λ变化，且其是否如分析所示具有拟凸性？
• RQ3 AMP中的估计误差‖βᵗ − βₒ‖₂²/p如何随阈值参数序列τ¹, ..., τᵗ变化？
• RQ4 能否为AMP的阈值参数τᵗ推导出一种一致且计算高效的调优方案，使其性能与最优LASSO性能相当？
• RQ5 在高维渐近情形下，AMP与LASSO的最优调优之间存在何种理论联系？

主要发现

• 活跃集大小‖β̂λ‖₀/p是λ的递减函数，与LASSO正则化的直观预期一致。
• MSE ‖β̂λ − βₒ‖₂²/p是λ的拟凸函数，表明存在唯一最优λ可使MSE最小化。
• 所提出的基于二分法的AMP参数调优方案在收敛速度与重构误差方面均优于最大最小法或恒定阈值调优。
• 采用所提方法的无参数AMP可达到与最优调优LASSO解相同的最优MSE，证明了其在性能上的理论等价性。
• 该方法所需的计算量远少于网格搜索，且在收敛速度与精度方面均优于网格搜索与最大最小法。
• 该方法可自适应信号稀疏度与噪声方差，在不同信号与噪声分布下均能实现最优MSE，而最大最小AMP仅在无噪声情形下最优。