[论文解读] A Bootstrap Lasso + Partial Ridge Method to Construct Confidence Intervals for Parameters in High-dimensional Sparse Linear Models

Hanzhong Liu, Xin Xu+1 more|arXiv (Cornell University)|Jun 7, 2017

Statistical Methods and Inference参考文献 42被引用 15

一句话总结

本文提出了一种自展lasso+部分岭回归（LPR）方法，用于在高维稀疏线性模型中构建系数的置信区间，解决了现有方法在弱或违反beta-min假设条件下的局限性。与去稀疏化lasso相比，该方法在覆盖概率上提高了50%，在区间长度上减少了35%，尤其适用于小但非零的系数。

ABSTRACT

Constructing confidence intervals for the coefficients of high-dimensional sparse linear models remains a challenge, mainly because of the complicated limiting distributions of the widely used estimators, such as the lasso. Several methods have been developed for constructing such intervals. Bootstrap lasso+ols is notable for its technical simplicity, good interpretability, and performance that is comparable with that of other more complicated methods. However, bootstrap lasso+ols depends on the beta-min assumption, a theoretic criterion that is often violated in practice. Thus, we introduce a new method, called bootstrap lasso+partial ridge, to relax this assumption. Lasso+partial ridge is a two-stage estimator. First, the lasso is used to select features. Then, the partial ridge is used to refit the coefficients. Simulation results show that bootstrap lasso+partial ridge outperforms bootstrap lasso+ols when there exist small, but nonzero coefficients, a common situation that violates the beta-min assumption. For such coefficients, the confidence intervals constructed using bootstrap lasso+partial ridge have, on average, $50\%$ larger coverage probabilities than those of bootstrap lasso+ols. Bootstrap lasso+partial ridge also has, on average, $35\%$ shorter confidence interval lengths than those of the de-sparsified lasso methods, regardless of whether the linear models are misspecified. Additionally, we provide theoretical guarantees for bootstrap lasso+partial ridge under appropriate conditions, and implement it in the R package "HDCI."

研究动机与目标

• 解决在传统方法因复杂极限分布而失效的高维稀疏线性模型中构建可靠置信区间的挑战。
• 克服自展lasso+ols方法所要求的严格beta-min假设，该假设在实际中常因存在小但非零系数而失效。
• 开发一种方法，在模型误设或存在小效应时仍能保持高覆盖概率和短置信区间长度。
• 提供一种计算简单、可解释且可并行化的推断程序，适用于基因组学等实际应用场景。
• 在真实数据中展示对模型误设的鲁棒性，并提升对小但具有生物学意义效应的检测能力，例如在基因表达研究中。

提出的方法

• 在第一阶段使用lasso进行模型选择并识别活跃预测变量。
• 在第二阶段对选定模型应用部分岭回归，以重新拟合系数，降低方差并提高估计稳定性。
• 将两阶段估计量与非参数自展法结合，以近似系数的抽样分布。
• 通过自展lasso+部分岭回归估计量的百分位数自展分位数构造置信区间。
• 利用岭回归的偏差减小特性，在弱稀疏性和小非零系数条件下提升推断性能。
• 在R包'HDCI'中实现该方法，以确保实际应用中的可重现性。

实验结果

研究问题

• RQ1 在弱beta-min条件下，结合lasso与部分岭回归的两阶段估计量是否能相比自展lasso+ols方法提升置信区间的覆盖概率与区间长度？
• RQ2 当存在小但非零系数时，自展lasso+部分岭回归方法在覆盖概率与区间长度方面的表现如何？
• RQ3 该方法在模型误设情况下，特别是在高维设置下，是否仍保持良好性能？
• RQ4 当真实模型误设时，该方法与去稀疏化lasso相比，在区间长度与覆盖概率方面表现如何？
• RQ5 该方法能否在真实世界应用（如基因表达分析）中有效识别出小但具有生物学意义的系数？

主要发现

• 自展lasso+部分岭回归在小但非零系数（违反beta-min假设）的情况下，平均覆盖概率比自展lasso+ols高出50%。
• 无论是否存在模型误设，该方法生成的置信区间平均比去稀疏化lasso方法短35%。
• 在一项真实fMRI数据应用中，该方法识别出的基因在生物学上比三种去稀疏化lasso方法更具可解释性，表明其对模型误设具有鲁棒性。
• 该方法在检测小但显著的系数方面优于自展lasso+ols，因此适用于识别具有微弱调控效应的功能重要基因。
• 尽管在所有稀疏模型上并非始终有效，但该方法在实际中表现出强大的经验性能，并在可解释性与计算简便性方面具有显著优势。
• 当研究人员关注识别小但非零的系数（在基因组学与生物系统中常见）而非仅大效应时，该方法尤为有效。