[论文解读] Cross-Validation with Confidence

Jing Lei|arXiv (Cornell University)|Mar 23, 2017

Statistical Methods and Inference参考文献 28被引用 9

一句话总结

本文提出了置信交叉验证（CVC），这是一种统计上严谨的方法，通过在交叉验证的测试样本中引入不确定性，以防止过拟合。通过基于交叉验证残差的p值，采用假设检验框架，CVC输出一个置信模型集合，该集合以保证的概率包含最优模型，从而在传统划分比例下实现一致的变量选择。

ABSTRACT

Cross-validation is one of the most popular model selection methods in statistics and machine learning. Despite its wide applicability, traditional cross validation methods tend to select overfitting models, due to the ignorance of the uncertainty in the testing sample. We develop a new, statistically principled inference tool based on cross-validation that takes into account the uncertainty in the testing sample. This new method outputs a set of highly competitive candidate models containing the best one with guaranteed probability. As a consequence, our method can achieve consistent variable selection in a classical linear regression setting, for which existing cross-validation methods require unconventional split ratios. When used for regularizing tuning parameter selection, the method can provide a further trade-off between prediction accuracy and model interpretability. We demonstrate the performance of the proposed method in several simulated and real data examples.

研究动机与目标

• 为解决传统交叉验证中因忽略测试样本不确定性而引起的过拟合问题。
• 开发一种统计上严谨的推断工具，提供一个包含最优模型的置信模型集合，并保证覆盖概率。
• 在使用传统V折交叉验证划分比例的低维线性回归中实现一致的变量选择，而先前的方法未能做到这一点。
• 在调参选择中提供预测准确性和模型可解释性之间的稳健权衡。
• 通过控制第一类错误并确保高概率包含具有竞争力的模型，扩展交叉验证在风险最小化设置中的可靠性。

提出的方法

• CVC为每个候选模型制定一个假设检验，检验其预测风险是否在所有模型中最小。
• 通过在高维正态比较框架下比较所有候选模型的交叉验证残差，计算p值。
• 该方法利用自归一化的中偏差结果，在弱矩假设下控制检验统计量的渐近行为。
• 置信模型集合被构造为在预设显著性水平下不拒绝原假设（即该模型具有最小风险）的子集。
• 该过程在V折交叉验证的每个折中分别执行，并通过并集界合并，以确保有限样本覆盖。
• 该方法利用高维正态比较的最新成果（Chernozhukov et al.）来处理测试统计量中相关且异方差的残差。

实验结果

研究问题

• RQ1 能否通过考虑测试样本的不确定性，使交叉验证在统计上更加严谨？
• RQ2 所提出的方法是否能在传统V折交叉验证划分比例下，实现线性回归中的一致变量选择？
• RQ3 该方法能否提供一个置信模型集合，即使在传统交叉验证失效的情况下，也能以高概率包含最优模型？
• RQ4 该方法在调参选择中如何平衡预测准确性和模型可解释性？
• RQ5 在弱正则性条件下，该置信集合的覆盖概率可建立哪些理论保证？

主要发现

• 当所有假设检验均在显著性水平α下进行时，CVC输出的置信集合以至少1−α的概率包含最优模型。
• 在传统划分比例下，CVC置信集合中最小的模型实现了线性回归中的一致变量选择，而标准交叉验证则不能。
• 以高概率，置信集合仅包含在预测风险方面高度具有竞争力的模型。
• 随着样本量增加，该方法确保最优模型被包含在所选集合中的概率趋近于1。
• 该过程在弱矩假设下控制第一类错误并保持覆盖性，包括误差的有限二阶矩和协变量的有限四阶矩。
• 理论保证基于自归一化中偏差结果和高维正态比较技术建立。