[论文解读] Exact Post Model Selection Inference for Marginal Screening

Jason D. Lee, Jonathan Taylor|arXiv (Cornell University)|Feb 23, 2014

Genetic and phenotypic traits in livestock参考文献 22被引用 65

一句话总结

本文提出了一种用于高维线性回归中边际筛选的精确事后模型选择推断框架，采用'条件于选择'方法推导给定所选模型下回归系数的精确条件分布。该方法可在无需渐近近似或对设计矩阵施加严格假设的情况下，实现有效的置信区间和假设检验，且计算成本低，适用于大规模数据集。

ABSTRACT

We develop a framework for post model selection inference, via marginal screening, in linear regression. At the core of this framework is a result that characterizes the exact distribution of linear functions of the response $y$, conditional on the model being selected (``condition on selection" framework). This allows us to construct valid confidence intervals and hypothesis tests for regression coefficients that account for the selection procedure. In contrast to recent work in high-dimensional statistics, our results are exact (non-asymptotic) and require no eigenvalue-like assumptions on the design matrix $X$. Furthermore, the computational cost of marginal regression, constructing confidence intervals and hypothesis testing is negligible compared to the cost of linear regression, thus making our methods particularly suitable for extremely large datasets. Although we focus on marginal screening to illustrate the applicability of the condition on selection framework, this framework is much more broadly applicable. We show how to apply the proposed framework to several other selection procedures including orthogonal matching pursuit, non-negative least squares, and marginal screening+Lasso.

研究动机与目标

• 解决标准置信区间和假设检验在通过边际筛选进行模型选择后失效的关键问题，因为选择引起的偏差导致其无效。
• 开发一种非渐近的框架，用于在模型选择后实现有效的统计推断，避免依赖特征值条件或大样本近似。
• 通过利用边际筛选的简洁性，实现计算高效的推断——尤其适用于超高维数据集。
• 将条件于选择框架扩展至其他选择程序，包括OMP、Lasso和非负最小二乘法。
• 提供一种通用方法，用于构建考虑模型选择过程的精确置信区间和p值，确保正确的覆盖率和第一类错误控制。

提出的方法

• 形式化'条件于选择'框架：推导给定特定模型被选中时，响应变量 $ y $ 的线性函数的精确条件分布。
• 将边际筛选的选择事件表示为对 $ y $ 的一组线性约束，即 $ \{ y : A y \leq b \} $，基于相关性排序和符号条件。
• 为截断正态分布构造枢轴量，以在条件模型下实现精确推断。
• 利用推导出的条件分布，构建调整选择偏差后的回归系数的精确置信区间和假设检验。
• 通过推导其各自的选择事件约束，将框架扩展至其他选择程序：正交匹配追踪（OMP）、非负最小二乘法（NNLS）以及边际筛选+Lasso。
• 通过仅依赖线性代数和高斯条件化，避免迭代或复杂抽样过程，确保计算效率。

实验结果

研究问题

• RQ1 在边际筛选后，能否在不依赖渐近近似的情况下，为回归系数构建有效且精确的置信区间和假设检验？
• RQ2 如何将边际筛选的选择过程形式化为对响应向量 $ y $ 的一组约束，以实现条件推断？
• RQ3 条件于选择框架在多大程度上可推广至其他模型选择程序，如OMP、NNLS和Lasso？
• RQ4 与标准事后选择推断方法相比，该框架的计算成本如何？是否可扩展至超高维数据？
• RQ5 当设计矩阵 $ X $ 的特征值性质较差时，该框架是否仍能保持正确的覆盖率和第一类错误控制？

主要发现

• 所提方法在边际筛选后能构建回归系数的精确置信区间和假设检验，且保证覆盖率 $ 1 - \alpha $，即使在高维设置下也成立。
• 该框架是非渐近的，且不需对设计矩阵 $ X $ 的特征值做任何假设，因此即使 $ X $ 条件不佳或奇异时也适用。
• 推断的计算成本可忽略不计——仅需 $ O(np) $，使其在Lasso或其他正则化方法计算上不可行的大规模数据集中极为高效。
• 条件于选择框架成功扩展至OMP、非负最小二乘法以及边际筛选+Lasso，其选择事件可表示为对 $ y $ 的线性约束，从而在所有情况下实现有效推断。
• 该方法通过精确条件于所选模型，避免了现有方法（如POSI）的保守性，从而实现更强大的检验和更窄的置信区间。
• 该框架可在不进行样本分割或子采样的情况下实现精确推断，从而保持统计效率，并避免因数据分割导致的效能损失。