[论文解读] Confidence Intervals for Low-Dimensional Parameters in High-Dimensional Linear Models

Cun‐Hui Zhang, Stephanie S. Zhang|arXiv (Cornell University)|Oct 12, 2011

Statistical Methods and Inference参考文献 32被引用 14

一句话总结

本文提出一种低维投影（LDP）方法，用于在高维线性模型中构造个体回归系数或其线性组合的有效置信区间，即使预测变量数量超过样本量时亦成立。该方法在无需均匀信号强度条件的情况下实现渐近正态性，从而在弱信号或中等信号条件下实现精确推断。

ABSTRACT

The purpose of this paper is to propose methodologies for statistical inference of low-dimensional parameters with high-dimensional data. We focus on constructing confidence intervals for individual coefficients and linear combinations of several of them in a linear regression model, although our ideas are applicable in a much broad context. The theoretical results presented here provide sufficient conditions for the asymptotic normality of the proposed estimators along with a consistent estimator for their finite-dimensional covariance matrices. These sufficient conditions allow the number of variables to far exceed the sample size. The simulation results presented here demonstrate the accuracy of the coverage probability of the proposed confidence intervals, strongly supporting the theoretical results.

研究动机与目标

• 解决高维线性模型中预测变量数 p 超过样本量 n 时的统计推断挑战。
• 为低维参数（如单个系数或对比）构建置信区间，即使许多回归系数的大小为弱或中等时仍保持有效性。
• 消除对均匀信号强度条件的依赖（该条件通常在变量选择一致性中被要求），从而实现在弱信号现实场景中的推断。
• 为所提出的估计量的渐近正态性以及其协方差矩阵的一致估计提供理论依据，适用于高维渐近设置。
• 通过多重性校正的置信区间支持联合推断，其覆盖范围比单纯变量选择更具信息量。

提出的方法

• 提出一种低维投影（LDP）估计量，将高维回归问题投影到由预设感兴趣的系数张成的低维子空间上。
• 使用去偏或去稀疏化估计量，以校正正则化（如Lasso）带来的偏差，从而实现对低维参数估计量的渐近正态性。
• 采用一致估计量估计LDP估计量的协方差矩阵，该估计量基于精度矩阵的逆和基于残差的方差估计。
• 依赖于设计矩阵的限制特征值或非一致性性质的正则性条件，并假设真实回归系数向量具有稀疏性。
• 应用缩放Lasso估计量以一致估计误差方差，确保在高维设置下的稳健性。
• 推导出在 p ≫ n 情况下，LDP估计量实现渐近正态性的理论条件，通过稀疏性和设计矩阵约束控制估计量的偏差与方差。

实验结果

研究问题

• RQ1 能否在无需所有非零系数均较大的前提下（即无需均匀信号强度条件），为高维线性模型中的低维参数构造有效置信区间？
• RQ2 确保LDP估计量对单个系数或对比的渐近正态性的设计矩阵和误差结构的充分条件是什么？
• RQ3 如何在高维设置下一致估计LDP估计量的有限维协方差矩阵？
• RQ4 所提出的方法能否在保持适当覆盖概率的前提下支持对多个参数的联合推断？
• RQ5 当存在弱信号时，LDP方法在覆盖准确度方面是否优于传统事后选择推断方法？

主要发现

• 在温和正则性条件下，所提出的LDP估计量即使在预测变量数 p 远大于样本量 n 时也具有渐近正态性。
• 该方法在无需均匀信号强度条件的情况下，为单个系数或线性组合提供了有效的置信区间，而该条件在实践中常被违反。
• 通过基于精度矩阵和残差方差估计的去偏方法，可一致估计LDP估计量的有限维协方差矩阵。
• 模拟结果证实，所提出置信区间的覆盖概率接近名义水平，支持理论发现。
• 该方法可通过适当的多重性校正实现对多个低维参数的联合推断，提供比单纯变量选择更丰富的推断信息。
• 理论保证在系数向量稀疏性假设和设计矩阵的限制特征值条件下成立，确保在高维情形下的稳健性。