[论文解读] Exact Post-selection Inference for Forward Stepwise and Least Angle Regression

Jonathan Taylor, Richard Lockhart+2 more|arXiv (Cornell University)|Jan 16, 2014

Statistical Methods and Inference参考文献 15被引用 30

一句话总结

本文通过利用多面体选择事件后的通用条件推断框架，为前向逐步回归和最小角回归提出了精确的后模型选择推断方法。它推导出检验统计量的有限样本精确零分布，从而实现具有精确第一类错误控制的有效p值，并可构建回归参数的置信区间。

ABSTRACT

In this paper we propose new inference tools for forward stepwise and least angle regression. We first present a general scheme to perform valid inference after any selection event that can be characterized as the observation vector y falling into some polyhedral set. This framework then allows us to derive conditional (post-selection) hypothesis tests at any step of the forward stepwise and least angle regression procedures. We derive an exact null distribution for our proposed test statistics in finite samples, yielding p-values with exact type I error control. The tests can also be inverted to produce confidence intervals for appropriate underlying regression parameters. Application of this framework to general likelihood-based regression models (e.g., generalized linear models and the Cox model) is also discussed.

研究动机与目标

• 开发前向逐步回归和最小角回归中模型选择后的有效统计推断。
• 解决传统方法因选择偏差而失效的后模型选择推断挑战。
• 在选择事件下，为检验统计量提供精确的有限样本零分布。
• 将该框架扩展至广义线性模型和Cox模型等一般似然性模型。
• 在选择后构建回归参数的置信区间。

提出的方法

• 该框架将选择事件表征为观测向量 y 落入一个多面体集合中。
• 在给定观测到的选择事件下进行条件推断，即条件于 y ∈ P，其中 P 为一个多面体。
• 该方法推导出在给定选择事件下，原假设成立时检验统计量的精确有限样本分布。
• 将其应用于前向逐步回归和最小角回归，实现在任意选择步骤下的精确p值。
• 该方法允许通过假设检验的反演，构建所选回归系数的精确置信区间。
• 该框架被扩展至似然性模型，包括广义线性模型和Cox比例风险模型。

实验结果

研究问题

• RQ1 能否对前向逐步回归实现精确的后模型选择推断，并保证精确的第一类错误控制？
• RQ2 该框架是否可应用于最小角回归，并提供有限样本保证？
• RQ3 如何从由多面体集合定义的选择事件中，推导出检验统计量的精确p值？
• RQ4 能否在选择条件下，构建具有精确覆盖概率的所选回归参数置信区间？
• RQ5 该框架在多大程度上可推广至广义线性模型和Cox模型等似然性模型？

主要发现

• 所提出的框架在有限样本下为检验统计量提供了精确的零分布，确保了精确的第一类错误控制。
• 该方法可在任意选择步骤下，为前向逐步回归和最小角回归提供有效的p值。
• 通过反演所提出的检验，可构建回归参数的精确置信区间。
• 该框架可扩展至一般似然性模型，包括广义线性模型和Cox模型。
• 该方法为一大类选择程序提供了统一的后模型选择推断方法。
• 该方法依赖于对多面体选择事件的条件推断，从而在无需渐近近似的情况下实现精确推断。