[论文解读] Bolasso: model consistent Lasso estimation through the bootstrap

Francis Bach|ArXiv.org|Apr 8, 2008

Statistical Methods and Inference参考文献 12被引用 38

一句话总结

本文提出Bolasso方法，一种基于自助法（bootstrap）的Lasso改进方法，用于在高维线性回归中实现一致的变量选择。通过交叉多个自助样本中Lasso估计的支撑集，Bolasso即使在标准Lasso因变量间相关性而失效时，也能实现模型一致性，且正确模型选择的概率随样本量增加呈指数级收敛至1。

ABSTRACT

We consider the least-square linear regression problem with regularization by the l1-norm, a problem usually referred to as the Lasso. In this paper, we present a detailed asymptotic analysis of model consistency of the Lasso. For various decays of the regularization parameter, we compute asymptotic equivalents of the probability of correct model selection (i.e., variable selection). For a specific rate decay, we show that the Lasso selects all the variables that should enter the model with probability tending to one exponentially fast, while it selects all other variables with strictly positive probability. We show that this property implies that if we run the Lasso for several bootstrapped replications of a given sample, then intersecting the supports of the Lasso bootstrap estimates leads to consistent model selection. This novel variable selection algorithm, referred to as the Bolasso, is compared favorably to other linear regression methods on synthetic data and datasets from the UCI machine learning repository.

研究动机与目标

• 解决标准Lasso在预测变量之间存在高相关性时无法实现模型一致性的局限性。
• 分析在特定正则化参数衰减率下，Lasso变量选择性能的渐近行为。
• 提出一种新颖的一致性变量选择程序，利用自助重采样提升模型选择的可靠性。
• 证明通过交叉多个自助Lasso估计的支撑集，可获得一致的模型估计，且无需对设计矩阵施加强假设。

提出的方法

• 该方法对从原始数据集中抽取的多个自助样本应用Lasso。
• 为每个自助样本计算Lasso解，并收集每个解中非零系数的集合（即支撑集）。
• 最终模型通过交叉所有自助Lasso估计的支撑集获得，仅保留所有重复中均被选中的变量。
• 理论分析表明，当正则化参数以 $ n^{-1/2} $ 的速率衰减时，Lasso选择所有相关变量的概率以指数速度趋于1。
• 该方法被证明具有模型一致性：随着样本量增加，支撑集的交集以概率1收敛至真实模型。
• 该方法被构架为一种共识组合方案，仅保留在所有自助重复中均被选中的变量，从而消除假阳性结果。

实验结果

研究问题

• RQ1 在何种条件下，标准Lasso能在高维线性回归中实现模型一致性？
• RQ2 正则化参数的何种衰减率可确保Lasso以指数速度趋于1的概率选择所有相关变量？
• RQ3 是否可利用自助重采样构建一种即使在标准Lasso因预测变量相关性而失效时仍具一致性的模型选择程序？
• RQ4 交叉多个自助Lasso估计的支撑集是否能导致一致的模型估计？
• RQ5 所提出的方法是否可在不依赖强假设（如不可表示性条件或低相关性）的情况下实现一致的变量选择？

主要发现

• 当正则化参数以 $ n^{-1/2} $ 的速率衰减时，Lasso能实现模型一致性，且选择所有相关变量的概率以指数速度趋于1。
• 在相同衰减率下，Lasso以严格正的概率选择无关变量，因此可通过在多个自助样本中交叉支撑集予以消除。
• Bolasso方法通过交叉自助Lasso估计的支撑集，实现了模型一致性，且无需满足不可表示性条件。
• 在较弱的矩和支撑集假设下，Bolasso选择正确模型的概率随样本量 $ n $ 呈指数速度收敛至1。
• 在合成数据和UCI机器学习数据集上的实验表明，该方法在高相关性场景下优于标准Lasso及其他正则化方法。
• 理论分析证实，支撑集的交集可消除假阳性，同时保留所有真实变量，原因在于遗漏相关变量的概率呈指数衰减。