[论文解读] Confidence regions for high-dimensional generalized linear models under sparsity

Jana Janková, Sara van de Geer|arXiv (Cornell University)|Oct 5, 2016

Statistical Methods and Inference参考文献 9被引用 16

一句话总结

本文提出了一种在稀疏性条件下针对高维广义线性模型中低维参数的偏差校正、去稀疏化估计量，即使在非可微损失函数（如分位数、Huber或合页损失）下，也能实现渐近正态推断和有效的置信区域。该方法通过一种新型逆费雪信息矩阵估计量和基于熵的正则性条件，实现了假设检验和置信区间的统一有效性。

ABSTRACT

We study asymptotically normal estimation and confidence regions for low-dimensional parameters in high-dimensional sparse models. Our approach is based on the $\ell_1$-penalized M-estimator which is used for construction of a bias corrected estimator. We show that the proposed estimator is asymptotically normal, under a sparsity assumption on the high-dimensional parameter, smoothness conditions on the expected loss and an entropy condition. This leads to uniformly valid confidence regions and hypothesis testing for low-dimensional parameters. The present approach is different in that it allows for treatment of loss functions that we not sufficiently differentiable, such as quantile loss, Huber loss or hinge loss functions. We also provide new results for estimation of the inverse Fisher information matrix, which is necessary for the construction of the proposed estimator. We formulate our results for general models under high-level conditions, but investigate these conditions in detail for generalized linear models and provide mild sufficient conditions. As particular examples, we investigate the case of quantile loss and Huber loss in linear regression and demonstrate the performance of the estimators in a simulation study and on real datasets from genome-wide association studies. We further investigate the case of logistic regression and illustrate the performance of the estimator on simulated and real data.

研究动机与目标

• 开发高维稀疏模型中低维参数的统一有效置信区域和假设检验方法。
• 将渐近正态推断扩展至非可微损失函数，如分位数、Huber和合页损失。
• 基于Lasso构建一种偏差校正估计量，在温和的正则性和熵条件下方实现渐近正态性。
• 提出一种用于高维设定下方差估计的逆费雪信息矩阵的新估计量。
• 在真实和模拟数据上对方法进行实证验证，包括超高维设计下的全基因组关联研究。

提出的方法

• 使用L1惩罚M-估计量作为初始估计量，以实现稀疏性和变量选择。
• 对Lasso估计量施加偏差校正，以消除正则化带来的估计偏差。
• 在稀疏性、损失函数光滑性及熵条件下方，推导去偏估计量的渐近正态性。
• 引入节点式平方根Lasso过程，以无需交叉验证的方式估计逆费雪信息矩阵。
• 采用多重检验校正方法（Bonferroni-Holm与Benjamini-Hochberg），以控制高维推断中的误差率。
• 将该框架应用于广义线性模型，包括使用分位数和Huber损失的线性回归，以及逻辑回归。

实验结果

研究问题

• RQ1 在稀疏性条件下，能否为高维广义线性模型中的低维参数构建有效的置信区域？
• RQ2 如何为基于非可微损失函数（如分位数或Huber损失）的估计量实现渐近正态性？
• RQ3 确保高维模型中推断统一有效性的充分正则性和熵条件是什么？
• RQ4 在无需调参选择的情况下，如何在高维设定中一致估计逆费雪信息矩阵？
• RQ5 去稀疏化估计量在真实世界超高维数据（如全基因组关联研究）中的实际表现如何？

主要发现

• 在稀疏性、损失函数光滑性及熵条件下方，去稀疏化估计量实现了渐近正态性，从而支持有效置信区域的构建。
• 该方法成功处理了传统M-估计理论所排除的非可微损失函数，如分位数、Huber和合页损失。
• 在包含6033个基因和102个样本的前列腺癌数据集中，去稀疏化逻辑Lasso将基因515识别为显著（系数估计：-2.4677），经阈值筛选后，基因4639和5503也显著。
• 在包含4088个基因和72个样本的全基因组关联研究中，去稀疏化LAD估计量在Bonferroni-Holm校正下识别出RPSB_at（p值0.05）和YCEI_at（p值0.14）为显著。
• 多重检验校正导致结果保守，仅筛选出少数基因，这在超高维设定下存在大量假设时是可预期的。
• 用于逆费雪信息矩阵的节点式平方根Lasso估计量避免了交叉验证，在实践中表现良好。