[论文解读] In Defense of the Indefensible: A Very Naive Approach to High-Dimensional Inference

Sen Zhao, Daniela Witten+1 more|arXiv (Cornell University)|May 16, 2017

Statistical Methods and Inference被引用 9

一句话总结

本文提出一种简单的两步法——先使用套索回归进行变量选择，再对选定变量进行普通最小二乘法推断——以处理高维线性模型。在正则条件下，套索回归以高概率选择与无噪声套索回归相同的变量，从而可借助标准普通最小二乘法工具构建渐近有效的置信区间和p值，验证了高维情形下一种‘朴素’推断程序的有效性。

ABSTRACT

A great deal of interest has recently focused on conducting inference on the parameters in a high-dimensional linear model. In this paper, we consider a simple and very na\\"{i}ve two-step procedure for this task, in which we (i) fit a lasso model in order to obtain a subset of the variables, and (ii) fit a least squares model on the lasso-selected set. Conventional statistical wisdom tells us that we cannot make use of the standard statistical inference tools for the resulting least squares model (such as confidence intervals and $p$-values), since we peeked at the data twice: once in running the lasso, and again in fitting the least squares model. However, in this paper, we show that under a certain set of assumptions, with high probability, the set of variables selected by the lasso is identical to the one selected by the noiseless lasso and is hence deterministic. Consequently, the na\\"{i}ve two-step approach can yield asymptotically valid inference. We utilize this finding to develop the \\emph{na\\"ive confidence interval}, which can be used to draw inference on the regression coefficients of the model selected by the lasso, as well as the \\emph{na\\"ive score test}, which can be used to test the hypotheses regarding the full-model regression coefficients.

研究动机与目标

• 解决高维线性模型中p > n时的有效统计推断问题。
• 突破传统障碍：事后选择推断会破坏标准置信区间和p值的有效性。
• 证明在特定条件下，套索选择是确定性的，且等价于无噪声套索选择。
• 基于套索选择的模型，提出一种理论合理且简便的推断程序，采用普通最小二乘法。
• 构建在套索选择后对选定系数构造置信区间和进行得分检验的框架。

提出的方法

• 对高维数据（p > n）应用套索回归，选择变量子集。
• 在套索选择的变量上拟合普通最小二乘法（OLS）模型，并将选择视为固定。
• 证明在正则条件下（如子高斯误差、稀疏性、不可表示性），套索选择的集合以高概率等于无噪声套索选择的集合。
• 利用该确定性选择，证明选定模型上OLS估计量的渐近正态性。
• 基于OLS在套索选择模型上的推断，推导出‘朴素置信区间’和‘朴素得分检验’。
• 通过林德伯格条件和收敛性论证，建立在原假设下置信区间和p值的渐近有效性。

实验结果

研究问题

• RQ1 简单的两步法——套索选择后接OLS推断——是否能在高维模型中产生有效的置信区间和p值？
• RQ2 在何种条件下，套索选择等价于无噪声套索选择，使得所选模型为确定性？
• RQ3 尽管存在数据的双重使用，基于套索选择模型的朴素OLS推断是否仍保持渐近有效性？
• RQ4 所得到的置信区间和得分检验在原假设下是否渐近服从标准正态分布且有效？
• RQ5 与更复杂的去偏套索或事后选择推断技术相比，该方法在简洁性与有效性方面有何优势？

主要发现

• 在正则条件下，套索选择模型以高概率等价于无噪声套索模型，使选择过程具有确定性。
• 朴素两步法——套索选择后接OLS推断——可对选定系数产生渐近有效的置信区间。
• 在原假设下，对选定模型的朴素得分检验统计量渐近服从标准正态分布，从而可获得有效的p值。
• 通过林德伯格条件，基于误差的稀疏性与子高斯性，建立了检验统计量的渐近正态性。
• 该方法无需复杂去偏步骤即可实现渐近有效性，与现有去偏套索方法形成对比。
• 理论结果表明，错误模型选择的概率收敛于零，支持了该推断框架的有效性。