[论文解读] Comparison of prediction errors: Adaptive p-values after cross-validation

Jelena Markovic, Lucy Xia+1 more|arXiv (Cornell University)|Mar 20, 2017

Statistical Methods and Bayesian Inference参考文献 17被引用 10

一句话总结

本文通过推导一个渐近服从 Uniform(0,1) 分布的枢轴量，提出了一种在交叉验证Lasso及相关程序之后进行有效选择后推断的框架。通过向选择统计量或检验统计量添加高斯随机化，该方法即使在标准假设不成立时，也能实现对选定参数的渐近有效假设检验和置信区间，且在模拟中表现出良好的统计功效和FDR控制能力。

ABSTRACT

We develop tools to do valid post-selective inference for a family of model selection procedures, including choosing a model via cross-validated Lasso. The tools apply universally when the following random vectors are jointly asymptotically multivariate Gaussian: 1. the vector composed of scores for each model evaluated under certain model selection criteria (e.g. cross-validation errors across folds, AIC, prediction errors etc.); 2. the test statistics which we use to do inference on the parameter of interest chosen after looking at the selected model. Under these assumptions, we derive a pivotal quantity that has an asymptotically Unif(0,1) distribution which can be used to perform tests and construct confidence intervals. Both the tests and confidence intervals are selectively valid for the chosen parameter. While the above assumptions may not be satisfied in some applications, we propose a novel variation to these model selection procedures by adding Gaussian randomizations to either one of the two vectors. We illustrate our method through adding randomization and applying our technical tools to four important procedures for which no valid selective inference has yet developed: cross-validated Lasso, cross-validated randomized Lasso, AIC-based model selection among a fixed set of models and a population version of LOCO of Rinaldo et al (2016). We also develop MCMC sampling scheme to construct valid post-selective confidence intervals empirically in cases with randomized model selection procedures. Finally, as a side product, we demonstrate via simulation that, with the help of selection-adjusted p-values after cross-validated randomized Lasso, we can achieve high-statistical power and FDR control, yielding results comparable to knockoffs (in simulations favorable to knockoffs), and much better results than non-randomized Lasso.

研究动机与目标

• 开发一种通用框架，用于在诸如交叉验证Lasso等模型选择程序之后进行选择后推断，其中由于选择偏差的存在，标准推断方法失效。
• 确保即使选择是基于交叉验证误差等数据驱动标准进行的，条件于所选模型的假设检验和置信区间依然有效。
• 解决AIC-based模型选择和群体层面LOCO等程序缺乏有效推断工具的问题，这些程序此前缺乏选择后推断方法。
• 通过引入随机化模型选择与选择校正p值，提高高维设置下的统计功效和假发现率（FDR）控制能力。
• 提供一种基于MCMC的采样方案，用于在随机化程序下构建有效的选择后置信区间。

提出的方法

• 基于选择评分（如交叉验证误差）与检验统计量的联合渐近多变量正态性，推导一个枢轴量，确保其在原假设下服从 Uniform(0,1) 分布。
• 对选择统计量或检验统计量引入高斯随机化，以在原始假设不成立时恢复渐近正态性。
• 利用枢轴统计量作为参考分布，构建条件于所选模型的有效的p值和置信区间。
• 开发一种MCMC采样算法，以经验方式计算涉及随机化的模型选择下的选择后置信区间。
• 将该框架应用于四种关键程序：交叉验证Lasso、交叉验证随机化Lasso、基于AIC的模型选择，以及LOCO的群体版本。
• 通过模拟研究评估选择校正p值在统计功效和FDR控制方面的表现，与 knockoffs 和非随机化Lasso 进行比较。

实验结果

研究问题

• RQ1 我们能否在基于交叉验证Lasso进行模型选择后，即使选择依赖于数据驱动标准，依然构建渐近有效的p值和置信区间？
• RQ2 当选择统计量与检验统计量的联合渐近正态性不成立时，如何确保选择后推断的有效性？
• RQ3 高斯随机化对高维模型选择中选择后推断的有效性与统计功效有何影响？
• RQ4 随机化Lasso得到的选择校正p值能否实现FDR控制，并达到与knockoffs相当或更高的统计功效？
• RQ5 当模型选择涉及随机化时，如何经验性地计算有效的选择后置信区间？

主要发现

• 所提出的枢轴量在原假设下实现渐近 Uniform(0,1) 分布，从而支持在模型选择后进行有效假设检验。
• 高斯随机化可恢复渐近正态性，并在原始选择与检验统计量假设不成立时仍能实现有效推断。
• 该方法为此前难以处理的四种程序提供了有效的选择后推断：交叉验证Lasso、交叉验证随机化Lasso、基于AIC的模型选择，以及LOCO的群体版本。
• 模拟结果表明，随机化Lasso的选择校正p值表现出高统计功效和良好的FDR控制，其表现与非随机化Lasso相当或更优，并优于knockoffs。
• MCMC采样方案使得在随机化模型选择程序下能够经验性地构建有效的选择后置信区间。
• 该框架表明，随机化不仅可用于保证推断有效性，还能在高维设置下提升推断性能。