[论文解读] A Revisit to De-biased Lasso for Generalized Linear Models

Lu Xia, Bin Nan+1 more|arXiv (Cornell University)|Jun 23, 2020

Statistical Methods and Inference参考文献 37被引用 8

一句话总结

本文重新审视广义线性模型（GLMs）中的去偏lasso方法，发现标准方法失效的原因在于逆费雪信息矩阵的稀疏性假设被违反。作者通过直接求逆Hessian矩阵而不假设稀疏性，提出了一种改进的去偏估计器，建立了渐近正态性，并在模拟和真实数据分析中展示了置信区间覆盖性能的显著提升。

ABSTRACT

De-biased lasso has emerged as a popular tool to draw statistical inference for high-dimensional regression models. However, simulations indicate that for generalized linear models (GLMs), de-biased lasso inadequately removes biases and yields unreliable confidence intervals. This motivates us to scrutinize the application of de-biased lasso in high-dimensional GLMs. When $p >n$, we detect that a key sparsity condition on the inverse information matrix generally does not hold in a GLM setting, which likely explains the subpar performance of de-biased lasso. Even in a less challenging "large $n$, diverging $p$" scenario, we find that de-biased lasso and the maximum likelihood method often yield confidence intervals with unsatisfactory coverage probabilities. In this scenario, we examine an alternative approach for further bias correction by directly inverting the Hessian matrix without imposing the matrix sparsity assumption. We establish the asymptotic distributions of any linear combinations of the resulting estimates, which lay the theoretical groundwork for drawing inference. Simulations show that this refined de-biased estimator performs well in removing biases and yields an honest confidence interval coverage. We illustrate the method by analyzing a prospective hospital-based Boston Lung Cancer Study, a large scale epidemiology cohort investigating the joint effects of genetic variants on lung cancer risk.

研究动机与目标

• 调查高维广义线性模型（GLMs）中去偏lasso表现不佳的原因，特别是估计偏差大和置信区间不可靠的问题。
• 识别去偏lasso在GLMs中失效的根本原因，重点关注逆费雪信息矩阵稀疏性的假设。
• 开发一种新的去偏估计器，通过直接求逆Hessian矩阵避免稀疏性假设。
• 建立线性组合的渐近正态性，以支持有效的统计推断。
• 通过模拟和一项大规模遗传流行病学研究（波士顿肺癌研究）的实际应用验证该方法。

提出的方法

• 提出一种改进的去偏lasso估计器，通过直接求逆估计方程的Hessian矩阵，绕过对逆信息矩阵稀疏性的假设。
• 基于Hessian矩阵的去偏校正，为任意系数线性组合构建渐近正态估计器。
• 在正则性条件下（包括矩矩界和得分函数的Lipschitz连续性）建立所提估计器的渐近正态性理论。
• 通过二阶展开和Slutsky定理推导去偏估计器的渐近分布，确保推断的有效性。
• 应用乘子自展法或方差估计程序，构建具有适当覆盖性能的置信区间。
• 在“大p，小n”和“大n，发散p”两种场景下通过模拟验证方法，比较覆盖概率和偏差减少效果。

实验结果

研究问题

• RQ1 为何标准去偏lasso在高维广义线性模型中无法充分消除偏差？
• RQ2 在GLM设置下，逆费雪信息矩阵的稀疏性假设是否成立？其违反如何影响推断？
• RQ3 基于直接Hessian求逆的去偏估计器是否在偏差和置信区间覆盖方面优于现有方法？
• RQ4 新估计器在何种理论条件下可实现渐近正态性和有效推断？
• RQ5 在真实世界高维遗传数据（如波士顿肺癌研究）中，该方法表现如何？

主要发现

• 标准去偏lasso在GLMs中失效，是因为关键假设——逆费雪信息矩阵具有稀疏性——在现实中极少成立，即使协变量的精度矩阵是稀疏的。
• 模拟结果表明，现有去偏lasso的置信区间覆盖概率显著低于名义水平，尤其在“大n，发散p”设置下更为明显。
• 所提出的基于Hessian的去偏估计器在模拟中实现了显著改进的置信区间覆盖，接近名义水平。
• 新方法有效降低了估计偏差，偏差与标准误之比远比原始去偏lasso更接近零。
• 理论分析证实了新估计器线性组合的渐近正态性，为有效推断提供了坚实基础。
• 在波士顿肺癌研究中，该方法成功识别出与肺癌风险相关的联合遗传效应，并实现了可靠的推断，展示了其实际应用价值。