[论文解读] Unifying approach to selective inference with applications to cross-validation

Jelena Markovic, Lucy Xia+1 more|arXiv (Cornell University)|Mar 20, 2017

Fault Detection and Control Systems被引用 9

一句话总结

本文通过利用模型质量评分与检验统计量的渐近联合正态性，提出了一套统一的框架，用于实现模型选择（如交叉验证Lasso和基于AIC的选择）后的有效选择性推断。当需要时，引入高斯随机化以确保这种正态性，从而实现渐近均匀p值和所选参数的有效置信区间。

ABSTRACT

We develop tools to do valid post-selective inference for a family of model selection procedures, including choosing a model via cross-validated Lasso. The tools apply universally when the following random vectors are jointly asymptotically multivariate Gaussian: 1. the vector composed of each model's quality value evaluated under certain model selection criteria (e.g. cross-validation errors across folds, AIC, prediction errors etc.) 2. the test statistics from which we make inference on the parameters; it is worth noting that the parameters here are chosen after model selection methods are performed. Under these assumptions, we derive a pivotal quantity that has an asymptotically Unif(0,1) distribution which can be used to perform tests and construct confidence intervals. Both the tests and confidence intervals are selectively valid for the chosen parameter. While the above assumptions may not be satisfied in some applications, we propose a novel variation to these model selection procedures by adding Gaussian randomizations to either one of the two vectors. As a result, the joint distribution of the above random vectors is multivariate Gaussian and our general tools apply. We illustrate our method by applying it to four important procedures for which very few selective inference results have been developed: cross-validated Lasso, cross-validated randomized Lasso, AIC-based model selection among a fixed set of models and inference for a newly introduced novel marginal LOCO parameter, inspired by the LOCO parameter of Rinaldo et al (2016); and we provide complete results for these cases. For randomized model selection procedures, we develop Markov chain Monte Carlo sampling scheme to construct valid post-selective confidence intervals empirically.

研究动机与目标

• 开发一种通用且可重用的后选择性推断框架，以考虑交叉验证和基于AIC的选择等模型选择程序。
• 解决复杂选择程序（如交叉验证Lasso）缺乏有效推断工具的问题，这些程序的标准渐近正态性假设不成立。
• 通过引入高斯随机化，对模型质量评分或检验统计量进行调整，以确保在联合渐近正态性不满足时，实现选择性推断的有效性。
• 将该框架扩展至新参数（如边际LOCO参数），实现在数据依赖模型选择后的推断。
• 提供经验方法（包括MCMC抽样），用于在随机化模型选择设置下构建有效的后选择置信区间。

提出的方法

• 该方法依赖于两个随机向量的渐近联合多变量正态性：(1) 模型质量评分（如交叉验证误差），(2) 所选参数的检验统计量。
• 当联合正态性假设不成立时，作者在质量评分向量或检验统计量向量上引入微小的高斯随机化，以诱导渐近正态性。
• 随机化设计为不影响模型选择结果，从而在保持选择特性的同时实现推断。
• 推导出一个枢轴量，其在原假设下渐近服从(0,1)上的均匀分布，从而实现条件于选择的有效p值与置信区间。
• 对于随机化程序，开发了一种马尔可夫链蒙特卡洛（MCMC）抽样方案，以经验方式构建后选择置信区间。
• 该框架应用于四种情形：交叉验证Lasso、交叉验证随机化Lasso、基于AIC的模型选择，以及对一种新提出的边际LOCO参数的推断。

实验结果

研究问题

• RQ1 能否为包括交叉验证和AIC在内的多种模型选择程序，开发出一个统一的通用框架进行选择性推断？
• RQ2 当模型质量评分与检验统计量的联合分布不满足渐近多变量正态性时，如何实现有效推断？
• RQ3 向模型质量评分或检验统计量添加高斯随机化，对推断的有效性与效率有何影响？
• RQ4 该框架能否扩展至新参数（如边际LOCO参数），该参数此前缺乏推断工具？
• RQ5 与标准数据分割方法相比，所得置信区间和p值在覆盖概率和长度方面表现如何？

主要发现

• 所提出的方法产生一个渐近服从(0,1)上均匀分布的枢轴量，从而实现有效的选择性假设检验与置信区间。
• 对于交叉验证Lasso，该方法可在交叉验证后对所选系数实现有效推断，即使选择事件较为复杂。
• 对质量评分向量或检验统计量添加高斯随机化，可确保联合渐近正态性，从而使该框架具有普遍适用性。
• 在模拟中，使用数据切割法构建的置信区间平均长度为0.18，显著短于分割法的0.34，同时覆盖概率相近（91% vs. 92%）。
• 该方法为本文首次提出的边际LOCO参数生成了有效p值，此前该参数无可用推断工具。
• MCMC抽样方案可实现对随机化模型选择程序的有效后选择置信区间的经验构建。