[论文解读] Asymptotics of selective inference

Xiaoying Tian, Jonathan Taylor|arXiv (Cornell University)|Jan 15, 2015

Statistical Methods and Inference参考文献 11被引用 5

一句话总结

本文通过将先前的精确方法推广至高维设置，建立了在非高斯误差分布下选择性推断程序的渐近有效性。它证明了在温和正则性条件下，仿射选择程序（如LASSO路径推断）的p值会收敛到Uniform(0,1)分布，从而在不假设高斯分布的前提下实现渐近有效的推断。

ABSTRACT

In this paper, we seek to establish asymptotic results for selective inference procedures removing the assumption of Gaussianity. The class of selection procedures we consider are determined by affine inequalities, which we refer to as affine selection procedures. Examples of affine selection procedures include post-selection inference along the solution path of the LASSO, as well as post-selection inference after fitting the LASSO at a fixed value of the regularization parameter. We also consider some tests in penalized generalized linear models. Our method of proof adapts a method of Chatterjee (2005).

研究动机与目标

• 消除选择性推断中对高斯误差的假设，以克服先前精确方法在适用性上的限制。
• 在样本量n小于预测变量数p的高维设置下，建立仿射选择程序p值的渐近有效性。
• 将现有选择性推断框架推广至非高斯误差分布和惩罚模型。
• 为在无正态性假设下使用LASSO路径选择或广义线性模型中协方差检验的p值提供理论依据。
• 在预测变量数p随样本量n增长的高维回归中实现渐近有效的推断，即使n相对于p为对数级。

提出的方法

• 聚焦于由线性不等式定义的仿射选择程序，如LASSO中的活动集选择。
• 采用Chatterjee（2005）的方法，证明检验统计量的渐近分布收敛性。
• 使用原始p值函数P的平滑近似$\widetilde{P}_\delta$来控制近似误差。
• 应用浓度不等式和矩矩界，证明在原假设下P的泛函期望的收敛性。
• 推导出当样本量增加时$P(y) \xrightarrow{d} \mathrm{Unif}(0,1)$的条件。
• 通过$\|\widetilde{P}_\delta - P\|_\infty$的界以及选择区间尾部概率的界，建立收敛速率。

实验结果

研究问题

• RQ1 在不假设误差为高斯分布的条件下，选择性推断的p值在原假设下收敛到均匀分布的条件是什么？
• RQ2 能否在高维设置下（即$n < p$）建立选择性推断的渐近有效性？
• RQ3 LASSO路径选择或固定λ选择的p值的渐近行为如何依赖于误差分布？
• RQ4 惩罚广义线性模型中枢轴量收敛的充分条件是什么？
• RQ5 该框架能否扩展至非仿射选择程序，如固定λ的广义线性模型选择？

主要发现

• 在温和正则性条件下，选择性推断的p值$P_j(y)$在原假设下收敛于$\mathrm{Unif}(0,1)$分布，即使误差为非高斯。
• 当$n$相对于$p$为对数阶（如$n \sim \log p$）时，渐近有效性依然成立，适用于常见的LASSO相关程序。
• 该方法同时适用于LASSO解路径推断和固定正则化参数$\lambda$后的推断。
• 该框架支持在非高斯误差下对广义线性模型中的协方差检验进行推断。
• 收敛性通过平滑近似$\widetilde{P}_\delta$以及对近似误差和尾部概率的界来建立。
• 理论保证通过浓度不等式和矩矩界推导得出，显式给出了依赖于$\delta$、$n$和模型复杂度的收敛速率。