[论文解读] Cross-validation Confidence Intervals for Test Error

Pierre Bayle, Alexandre Bayle+2 more|arXiv (Cornell University)|Jul 24, 2020

Machine Learning and Algorithms被引用 3

一句话总结

本文建立了k折交叉验证和留一法交叉验证的中心极限定理，使得测试误差的渐近精确置信区间成为可能，并支持对学习算法进行有效的假设检验。在较弱的稳定性条件下，该方法提供了一致的方差估计量，这是首个针对留一法交叉验证的此类框架，在真实数据实验中表现优于现有方法。

ABSTRACT

This work develops central limit theorems for cross-validation and consistent estimators of its asymptotic variance under weak stability conditions on the learning algorithm. Together, these results provide practical, asymptotically-exact confidence intervals for k-fold test error and valid, powerful hypothesis tests of whether one learning algorithm has smaller k-fold test error than another. These results are also the first of their kind for the popular choice of leave-one-out cross-validation. In our real-data experiments with diverse learning algorithms, the resulting intervals and tests outperform the most popular alternative methods from the literature.

研究动机与目标

• 为k折交叉验证和留一法交叉验证的测试误差开发渐近有效的置信区间。
• 在学习算法的弱稳定性条件下，建立交叉验证的中心极限定理。
• 提供交叉验证估计量渐近方差的一致估计量。
• 实现对两个学习算法测试误差进行比较的有效且功效强大的假设检验。
• 提供首个针对留一法交叉验证的渐近精确推断框架。

提出的方法

• 在学习算法的弱稳定性条件下，推导k折交叉验证的中心极限定理。
• 提出交叉验证测试误差估计量渐近方差的一致估计量。
• 应用delta方法和弱依赖性假设，以证明交叉验证统计量的渐近正态性。
• 提出一种方差估计量，使测试误差置信区间的实际构建成为可能。
• 将该框架扩展至留一法交叉验证，此前该方法缺乏理论推断支持。
• 通过在多种学习算法和数据集上的真实数据实验，验证了该方法的有效性。

实验结果

研究问题

• RQ1 在弱稳定性条件下，能否为k折交叉验证的测试误差构建渐近精确置信区间？
• RQ2 能否为一般学习算法推导出交叉验证渐近方差的一致估计量？
• RQ3 所提出的框架是否适用于留一法交叉验证？该方法此前缺乏理论推断工具。
• RQ4 与现有方法相比，所得置信区间和假设检验在覆盖率和功效方面表现如何？
• RQ5 该方法在实际中能否可靠检测出两个学习算法之间测试误差的差异？

主要发现

• 在弱稳定性条件下，所提出的方法可为k折交叉验证的测试误差生成渐近精确置信区间。
• 推导出交叉验证渐近方差的一致估计量，使实际推断成为可能。
• 该框架是首个为留一法交叉验证提供渐近有效推断的框架。
• 真实数据实验表明，所提出的置信区间和假设检验在覆盖率和功效方面优于现有方法。
• 该方法在多种学习算法和数据集上均保持强大性能，证实了其通用性和鲁棒性。