[论文解读] Confidence Intervals for Low-Dimensional Parameters With High-Dimensional Data

Cun‐Hui Zhang, Stephanie S. Zhang|arXiv (Cornell University)|Oct 12, 2011

Statistical Methods and Inference参考文献 27被引用 29

一句话总结

本文提出了一种在高维线性回归模型中构建低维参数（如单个系数或线性组合）置信区间的方怯。通过在预测变量数量超过样本量的条件下建立渐近正态性和一致协方差估计，该方法确保了准确的覆盖概率，经模拟验证。

ABSTRACT

Abstract. The purpose of this paper is to propose methodologies for statistical inference of low-dimensional parameters with high-dimensional data. We focus on constructing con-fidence intervals for individual coefficients and linear combinations of several of them in a linear regression model, although our ideas are applicable in a much broader context. The theoretical results presented here provide sufficient conditions for the asymptotic normality of the proposed estimators along with a consistent estimator for their finite-dimensional covariance matrices. These sufficient conditions allow the number of variables to far ex-ceed the sample size. The simulation results presented here demonstrate the accuracy of the coverage probability of the proposed confidence intervals, strongly supporting the theoretical results.

研究动机与目标

• 解决当预测变量数量远超样本量时，对低维参数进行统计推断的挑战。
• 开发一种在高维设置下构建单个回归系数和线性组合有效置信区间的方怯。
• 建立高维模型中估计量渐近正态性的充分条件。
• 为估计量的有限维协方差矩阵提供一致估计量。
• 即使在 p ≫ n 情况下也能确保可靠推断，将经典推断方法扩展至高维情形。

提出的方法

• 为高维线性模型中的低维参数提出去偏或去稀疏化估计量。
• 推导出即使在 p ≫ n 情况下，所提估计量仍渐近正态的充分条件。
• 利用高维数据，为低维参数的协方差矩阵构造一致估计量。
• 采用两步估计程序：首先估计高维回归系数，然后校正低维参数的偏差。
• 利用所得渐近正态性构建具有保证覆盖性质的置信区间。
• 通过在不同高维设置下的模拟研究验证该方法。

实验结果

研究问题

• RQ1 当预测变量数量超过样本量时，能否为单个回归系数构建有效的置信区间？
• RQ2 在高维模型中，什么条件能确保低维参数估计量的渐近正态性？
• RQ3 在高维设置下，如何一致估计低维参数的有限维协方差矩阵？
• RQ4 在高维数据下，所提置信区间的经验覆盖概率是多少？
• RQ5 该方法能否扩展至高维模型中参数的线性组合？

主要发现

• 在允许 p ≫ n 的充分条件下，所提低维参数估计量渐近正态。
• 推导出参数有限维协方差矩阵的一致估计量，从而实现有效推断。
• 模拟结果表明，置信区间覆盖概率接近名义水平，支持理论结论。
• 即使预测变量数量远超样本量，该方法仍能保持准确的覆盖概率。
• 该方法不仅适用于单个系数，还可推广至高维回归模型中参数的线性组合。
• 理论框架为经典方法失效的高维模型提供了推断基础。