[论文解读] Exact Post-Selection Inference for Sequential Regression Procedures

Ryan J. Tibshirani, Jonathan Taylor+2 more|arXiv (Cornell University)|Jan 16, 2014

Statistical Methods and Inference参考文献 17被引用 53

一句话总结

本文提出了针对前向逐步回归、最小角度回归（LAR）和套索回归等顺序回归方法的精确事后模型选择推断方法。通过将选择事件建模为响应向量 $ y $ 上的多面体约束，利用条件推断推导出有限样本有效的p值和置信区间，确保在原假设下精确控制第一类错误。其主要贡献是一个能够在有限样本设置下对模型选择事件进行严格统计推断的框架，该框架已实现于 R 包 selectiveInference 中。

ABSTRACT

We propose new inference tools for forward stepwise regression, least angle regression, and the lasso. Assuming a Gaussian model for the observation vector <i>y</i>, we first describe a general scheme to perform valid inference after any selection event that can be characterized as <i>y</i> falling into a polyhedral set. This framework allows us to derive conditional (post-selection) hypothesis tests at any step of forward stepwise or least angle regression, or any step along the lasso regularization path, because, as it turns out, selection events for these procedures can be expressed as polyhedral constraints on <i>y</i>. The <i>p</i>-values associated with these tests are exactly uniform under the null distribution, in finite samples, yielding exact Type I error control. The tests can also be inverted to produce confidence intervals for appropriate underlying regression parameters. The R package selectiveInference, freely available on the CRAN repository, implements the new inference tools described in this article. Supplementary materials for this article are available online.

研究动机与目标

• 解决由于贪婪变量选择导致的顺序回归方法中p值无效的问题。
• 开发一个通用的精确事后模型选择推断框架，考虑有限样本设置下的选择事件。
• 为前向逐步回归、LAR和套索回归中模型选择后的回归系数提供有效的p值和置信区间。
• 将事后推断的适用范围扩展到线性模型之外，且无需对协变量或真实模型线性性施加强假设。
• 在实用的统计分析中，通过一个易于访问的 R 包实现该框架。

提出的方法

• 该方法将选择事件（例如，每个步骤中进入的变量）建模为响应向量 $ y $ 上的多面体约束。
• 基于响应向量 $ y $ 落在特定多面体集合内的条件进行推断，该集合由选择规则导出。
• 该框架对直到第 $ k $ 步的所有活动集进行条件处理，确保精确的第一类错误控制。
• 对于前向逐步回归和 LAR，基于给定选择事件下检验统计量的条件分布，推导出截断正态（TG）检验统计量。
• 提出一种计算高效的间距检验（spacing test）用于 LAR，其渐近等价于协方差检验，但具有有限样本有效性。
• 该方法无需对设计矩阵 $ X $ 或真实模型为线性施加假设，仅需误差项服从高斯分布。

实验结果

研究问题

• RQ1 能否为通过前向逐步回归选择的回归系数构造有效的p值，同时考虑贪婪选择过程的影响？
• RQ2 在最小角度回归和套索回归中，当选择事件在 $ y $ 上表现为多面体时，如何实现精确推断？
• RQ3 模型选择后检验统计量的有限样本分布是什么？如何利用该分布控制第一类错误？
• RQ4 所提出的 TG 检验和间距检验与现有方法（如协方差检验）相比，在有效性与检验功效方面有何差异？
• RQ5 该框架能否推广至本文研究之外的其他顺序选择程序？

主要发现

• 所提出的截断正态（TG）检验在有限样本下，原假设下p值恰好服从均匀分布，确保了前向逐步回归和 LAR 中精确的第一类错误控制。
• 在前列腺癌数据示例中，朴素的t检验在显著性水平 0.05 下识别出四个显著变量，而 TG 检验将其减少至两个，纠正了选择偏差。
• 针对 LAR 的间距检验渐近等价于 Lockhart 等人（2014）提出的协方差检验，但具有有限样本有效性且无需分布假设。
• 前向逐步回归的 TG 检验对所有先前的选择事件进行条件处理，而 max-|t|-检验则不然，后者在后期步骤中导致保守性偏差。
• 该方法已实现于 R 包 selectiveInference 中，可在 CRAN 上获取，同时提供了 Python 版本。
• 理论结果表明，在正则性条件下，间距检验的对数p值收敛于缩放的卡方分布，支持其与协方差检验的渐近等价性。