[论文解读] Asymptotics of Cross-Validation

Morgane Austern, Wenda Zhou|arXiv (Cornell University)|Jan 29, 2020

Bayesian Methods and Mixture Models参考文献 9被引用 12

一句话总结

本文在一般稳定性条件下建立了交叉验证风险的渐近分布，证明了中心极限定理和Berry-Esseen界，从而能够构建准确的置信区间。结果表明，当训练损失与测试损失一致时，参数M-估计器在交叉验证下可实现完整的K_n倍方差缩减；然而，当使用代理损失或正则化时，方差缩减可能小于或大于完整的K_n倍加速，具体取决于模型和数据分布。

ABSTRACT

Cross validation is a central tool in evaluating the performance of machine learning and statistical models. However, despite its ubiquitous role, its theoretical properties are still not well understood. We study the asymptotic properties of the cross validated-risk for a large class of models. Under stability conditions, we establish a central limit theorem and Berry-Esseen bounds, which enable us to compute asymptotically accurate confidence intervals. Using our results, we paint a big picture for the statistical speed-up of cross validation compared to a train-test split procedure. A corollary of our results is that parametric M-estimators (or empirical risk minimizers) benefit from the "full" speed-up when performing cross-validation under the training loss. In other common cases, such as when the training is done using a surrogate loss or a regularizer, we show that the behavior of the cross-validated risk is complex with a variance reduction which may be smaller or larger than the "full" speed-up, depending on the model and the underlying distribution. We allow the number of folds to grow with the number of observations at any rate.

研究动机与目标

• 理解统计学习中交叉验证风险估计量的渐近行为。
• 量化K折交叉验证相比训练-测试划分所实现的方差缩减程度。
• 建立交叉验证实现‘完全’方差缩减速度提升的条件。
• 利用渐近方差估计量构建交叉验证风险的渐近准确置信区间。
• 分析正则化和代理损失对交叉验证统计效率的影响。

提出的方法

• 在一般稳定性条件下，推导了交叉验证风险的中心极限定理与Berry-Esseen界。
• 采用Stein方法的变体处理交叉验证中各折之间的依赖性。
• 分析交叉验证风险的影响函数，并将其对单个观测的敏感性进行分解。
• 推导了交叉验证风险及其估计量的渐近方差表达式。
• 允许折叠数K_n随样本量n以任意速率增长，从而支持灵活的渐近分析。
• 比较交叉验证与数据划分的渐近方差，量化其加速程度。

实验结果

研究问题

• RQ1 在何种条件下，交叉验证相比数据划分可实现K_n倍的方差缩减？
• RQ2 使用代理损失或正则化时，如何影响交叉验证的方差缩减？
• RQ3 在一般模型稳定性条件下，交叉验证风险的极限分布为何？
• RQ4 我们能否为交叉验证风险构建渐近准确的置信区间？
• RQ5 在不同模型类别下，交叉验证的渐近方差与数据划分的渐近方差相比如何？

主要发现

• 对于使用相同损失进行训练和评估的参数M-估计器，交叉验证相比数据划分可实现‘完全’的K_n倍方差缩减。
• 当使用代理损失或正则化时，交叉验证的方差缩减可能小于或大于完整的K_n倍加速，具体取决于模型和底层数据分布。
• 本文建立了交叉验证风险的中心极限定理，从而可构建渐近有效的置信区间。
• 推导了Berry-Esseen界，量化了交叉验证风险收敛到正态分布的速率。
• 在稳定性条件下，证明了交叉验证风险的渐近方差小于数据划分估计量的渐近方差。
• 该分析允许K_n随n以任意速率增长，使结果适用于高维与大样本场景。