[论文解读] The distribution of the Lasso: Uniform control over sparse balls and adaptive parameter tuning

Léo Miolane, Andrea Montanari|arXiv (Cornell University)|Nov 3, 2018

Statistical Methods and Inference参考文献 60被引用 55

一句话总结

论文证明在随机高斯设计下，Lasso 的一致性、在高概率下的集中性结果，统一适用于 ell_p ball 的集合和正则化项，并由此为自适应调参程序提供依据。

ABSTRACT

The Lasso is a popular regression method for high-dimensional problems in which the number of parameters $\ heta_1,\\dots,\ heta_N$, is larger than the number $n$ of samples: $N>n$. A useful heuristics relates the statistical properties of the Lasso estimator to that of a simple soft-thresholding denoiser,in a denoising problem in which the parameters $(\ heta_i)_{i\\le N}$ are observed in Gaussian noise, with a carefully tuned variance. Earlier work confirmed this picture in the limit $n,N\ o\\infty$, pointwise in the parameters $\ heta$, and in the value of the regularization parameter. Here, we consider a standard random design model and prove exponential concentration of its empirical distribution around the prediction provided by the Gaussian denoising model. Crucially, our results are uniform with respect to $\ heta$ belonging to $\\ell_q$ balls, $q\\in [0,1]$, and with respect to the regularization parameter. This allows to derive sharp results for the performances of various data-driven procedures to tune the regularization. Our proofs make use of Gaussian comparison inequalities, and in particular of a version of Gordon's minimax theorem developed by Thrampoulidis, Oymak, and Hassibi, which controls the optimum value of the Lasso optimization problem. Crucially, we prove a stability property of the minimizer in Wasserstein distance, that allows to characterize properties of the minimizer itself.

研究动机与目标

• 动机并量化在标准随机设计下，Lasso 的经验分布如何收敛到高斯去噪器预测的周围。
• 给出在参数上统一的结果（在 ell_p 球和 λ 上），以实现对正则化参数的数据驱动调参。
• 刻画去偏的 Lasso 分布，并建立一个稳定性性质，以在 Wasserstein 距离中推断最小值的行为。
• 开发统一的风险和噪声水平估计量，并证明它们在自适应 λ 选择中的作用。
• 展示结果如何支持并限定自适应方法如 EST、SURE 和交叉验证。
• 通过 Lasso 优化的标量极限等价性，将理论与极大极小（minimax）考量联系起来。

提出的方法

• 模型：线性回归，设计矩阵 X 为高斯设计，噪声 z；y = Xθ⋆ + σz，且 Xij ~ N(0,1/n)。
• Lasso 估计量：θ̂λ = argminθ (1/2n)||y − Xθ||^2 + (λ/n)||θ||1。
• 关键解析工具：高斯比较不等式（Gordon 的极小极大定理）以及在 Wasserstein 距离中的稳定性性质，将极小值与最小值联系起来。
• 固定点方程（5）及相关量（τ*, α*）刻画去偏与普通 Lasso 估计量的渐近分布。
• 统一收敛结果（定理 3.1）表明经验分布在 θ⋆ 属于 ℓp-球且 λ ∈ [λmin, λmax] 上对 μλ* 收敛，且为均匀。
• 风险 R*(λ)、预测 P*(λ) 的定义及其统一估计量（推论 4.1–4.4）。
• 将结果应用于自适应正则化调参：EST、SURE，以及带有保证的 k 折 CV（命题 4.1–4.3）。
• 去偏 Lasso 分布（定理 3.3）及其对 μ(λ) d 的 Wasserstein 收敛。

实验结果

研究问题

• RQ1 在高斯设计下，Lasso 的经验分布是否在跨 λ 和在 ℓp-球中的 θ 上，对高斯去噪模型表现出均匀的集中性？
• RQ2 能否推导出在 λ 和 θ 上均匀的规律，以支持使用自适应方法（EST、SURE、CV）进行正则化参数的自适应调参？
• RQ3 哪些风险、噪声水平和预测误差估计量在稀疏参数集合上保持一致性？
• RQ4 在统一控制下，去偏 Lasso 的行为如何，它的分布是否可以被表征成有助于置信区间构造的方式？
• RQ5 Wasserstein 稳定性属性在将信息从 Lasso 极小值传递到估计量本身中的作用是什么？

主要发现

• 经验分布在 (θ̂λ, θ⋆) 上对 μλ* 高概率集中，且在 λ ∈ [λmin, λmax] 与 θ⋆ ∈ ℓp-球的均匀性下成立。
• 唯一的固定点对 (β*(λ), τ*(λ)) 解出最大-最小问题（8），决定渐近去偏分布及相关量。
• 对 τ*(λ)、Lasso 风险 R*(λ) 和预测误差的统一一致估计量，使自适应调参更可靠。
• 去偏 Lasso θ̂d,λ 的分布近似为 N(θ⋆, τ*^2 I)，并且在 Wasserstein 距离上收敛到 μλ*（定理 3.3）。
• 三种数据驱动的 λ 选择方法（EST、SURE、CV）在仿真中实现了近似最优风险，且有统一理论支撑（命题 4.1–4.3）。
• 基于 SURE 的和基于交叉验证的估计量为预测误差和风险估计提供了统一的一致性保障。