[论文解读] Bootstrapping the Cross-Validation Estimate

Bryan Cai, Luo, Yuanhui+7 more|arXiv (Cornell University)|Jul 1, 2023

Forecasting Techniques and Applications被引用 4

一句话总结

本文提出了一种快速、计算高效的自助法，用于估计预测模型中交叉验证性能估计的标准误并构建有效的置信区间。通过在随机效应框架内对方差成分进行建模，该方法克服了传统计算瓶颈，同时在多种模型和性能度量中保持了灵活性。

ABSTRACT

Cross-validation is a widely used technique for evaluating the performance of prediction models, ranging from simple binary classification to complex precision medicine strategies. It helps correct for optimism bias in error estimates, which can be significant for models built using complex statistical learning algorithms. However, since the cross-validation estimate is a random value dependent on observed data, it is essential to accurately quantify the uncertainty associated with the estimate. This is especially important when comparing the performance of two models using cross-validation, as one must determine whether differences in estimated error are due to chance. Although various methods have been developed to make inferences on cross-validation estimates, they often have many limitations, such as requiring stringent model assumptions. This paper proposes a fast bootstrap method that quickly estimates the standard error of the cross-validation estimate and produces valid confidence intervals for a population parameter measuring average model performance. Our method overcomes the computational challenges inherent in bootstrapping a cross-validation estimate by estimating the variance component within a random-effects model. It is also as flexible as the cross-validation procedure itself. To showcase the effectiveness of our approach, we conducted comprehensive simulations and real-data analysis across two applications.

研究动机与目标

• 为解决交叉验证估计缺乏可靠的不确定性量化问题，因为这些估计本身具有随机性并受抽样变异的影响。
• 克服对交叉验证进行简单自助法带来的高计算成本，尤其是在高维或复杂模型设置下。
• 开发一种在广泛范围的预测模型和性能度量中均兼具计算效率和统计有效性的方法。
• 为在生物医学应用中模型可靠性至关重要的场景下，提供一种实用的解决方案，以实现性能比较并附带适当的置信区间。
• 弥合理论渐近证明与有限样本设置下实际表现之间的差距，特别是在高维模型（如Lasso正则化逻辑回归）中。

提出的方法

• 该方法将交叉验证估计建模为具有层次结构的随机效应，将总方差分解为归因于数据划分和模型训练的成分。
• 在随机效应模型中估计方差成分，以在不重复整个交叉验证过程重采样的情况下，近似交叉验证估计量的抽样分布。
• 该方法采用参数自助法框架，利用假设的随机效应结构，高效地模拟交叉验证估计量的分布。
• 该方法设计为与模型无关，可应用于任意性能度量（例如，平均绝对误差、 concordance index、个体化治疗反应评分）和任意学习算法。
• 通过损失函数的线性化，近似训练集选择和预测误差估计的影响，推导出标准误的一致估计量。
• 该方法通过同时考虑数据划分的随机性和模型参数估计的变异性，确保置信区间的有效性。

实验结果

研究问题

• RQ1 如何在不产生禁止性计算成本的前提下，高效估计交叉验证性能估计的标准误？
• RQ2 是否可以使基于自助法的交叉验证推断程序在有限样本中既快速又具有统计有效性，特别是在高维模型中？
• RQ3 所提出的方法在不同性能度量和模型类型下，其置信区间的覆盖概率是否保持准确？
• RQ4 与现有的渐近方法和嵌套交叉验证相比，该方法在准确性和计算效率方面表现如何？
• RQ5 在何种条件下，交叉验证估计的自助置信区间能有意义地对应于真实的总体性能参数？

主要发现

• 所提出的自助法在显著降低计算成本的前提下，实现了准确的标准误估计，相比对整个交叉验证过程进行简单自助重采样有明显优势。
• 模拟和真实数据分析表明，即使在中等样本量和高维设置下，自助法置信区间仍能保持适当的覆盖水平。
• 对于具有高维协变量的Lasso正则化逻辑回归，尽管当前渐近框架下缺乏理论依据，但基于自助法的区间仍表现出良好的经验覆盖性。
• 该方法在多种性能度量中表现良好，包括平均绝对预测误差、c-index和个体化治疗反应评分。
• 该方法对模型复杂性和数据维度具有鲁棒性，即使真实误差方差与交叉验证估计的抽样方差相当，其覆盖特性仍保持稳定。
• 该方法为嵌套交叉验证提供了一种实用的替代方案，在显著降低计算开销的同时，保持了相似的推断有效性。