[论文解读] Estimating the Standard Error of Cross-Validation-Based Estimators of Classification Rules Performance

Waleed A. Yousef|arXiv (Cornell University)|Aug 1, 2019

Advanced Statistical Methods and Models参考文献 8被引用 7

一句话总结

本文提出了一种基于影响函数（IF）的新方法，用于估计基于交叉验证（CV）的分类规则性能估计器的方差，解决了现有经验性方法在方差估计方面缺乏严格理论基础的问题。尽管该IF方法在均方根误差（RMS）方面表现较低，但存在一定的偏差；然而，实证结果出人意料地表明，传统经验性方法仍优于该方法，这促使进一步研究方法论上的权衡与理论基础。

ABSTRACT

First, we analyze the variance of the Cross Validation (CV)-based estimators used for estimating the performance of classification rules. Second, we propose a novel estimator to estimate this variance using the Influence Function (IF) approach that had been used previously very successfully to estimate the variance of the bootstrap-based estimators. The motivation for this research is that, as the best of our knowledge, the literature lacks a rigorous method for estimating the variance of the CV-based estimators. What is available is a set of ad-hoc procedures that have no mathematical foundation since they ignore the covariance structure among dependent random variables. The conducted experiments show that the IF proposed method has small RMS error with some bias. However, surprisingly, the ad-hoc methods still work better than the IF-based method. Unfortunately, this is due to the lack of enough if compared to the bootstrap estimator. This opens the research for three points: (1) more comprehensive simulation study to clarify when the IF method win or loose; (2) more mathematical analysis to figure out why the ad-hoc methods work well; and (3) more mathematical treatment to figure out the connection between the appropriate amount of smoothness and decreasing the bias of the IF method.

研究动机与目标

• 解决分类规则中基于交叉验证的性能估计器方差估计缺乏严谨数学框架的问题。
• 利用影响函数（IF）方法开发一种理论可靠的方差估计器，该方法在自助法（bootstrap）估计器中已取得成功。
• 研究为何尽管缺乏理论基础，经验性方差估计方法——尽管忽略依赖CV估计之间的协方差——在实践中仍优于所提出的IF方法。
• 通过进一步模拟与分析，识别IF方法可能优于经验性程序的条件。
• 探讨估计器平滑性与IF方法中偏差减少之间的关系，以提升估计精度。

提出的方法

• 采用影响函数（IF）方法，一种非参数统计技术，用于估计基于CV的性能估计器的方差。
• 通过将性能估计视为经验分布的统计泛函，推导出基于CV的估计器的影响函数。
• 利用影响函数计算CV估计器的渐近方差，考虑CV折子之间的依赖结构。
• 将基于IF的方差估计器应用于分类规则，并通过模拟研究评估其性能。
• 将基于IF的方差估计与通常使用的忽略依赖CV估计之间协方差的经验性方法进行比较。
• 采用均方根误差（RMS）作为评估方差估计器准确性的指标。

实验结果

研究问题

• RQ1 在何种条件下，基于IF的方差估计器在基于CV的分类规则中优于或劣于经验性方差估计方法？
• RQ2 为何尽管忽略协方差结构，经验性方差估计程序在实践中仍优于理论基础坚实的IF方法？
• RQ3 分类规则的平滑程度如何影响基于IF的方差估计器的偏差？
• RQ4 估计器的平滑性与IF方法中方差估计偏差减少之间存在何种理论联系？
• RQ5 更全面的模拟研究能否澄清IF方法更具优势的情境？

主要发现

• 所提出的基于影响函数的方法在估计基于CV的性能估计器方差方面实现了较低的均方根误差（RMS）。
• 尽管RMS误差较低，但IF方法表现出显著的偏差，这可能是其在实践中表现不佳的原因。
• 出人意料的是，传统经验性方差估计方法——缺乏理论依据——在实证评估中仍优于基于IF的方法。
• IF方法表现不佳的原因在于其影响函数估计的充分性不足，相较于自助法估计器，提示需要改进实现方式或引入平滑化处理。
• 研究结果凸显了一个关键的研究空白：缺乏对为何经验性方法在忽略CV折子间依赖关系的情况下仍表现良好的理论理解。
• 本研究呼吁开展进一步的模拟研究，以明确IF方法更具优势的情境，并对平滑性在减少偏差中的作用进行更深入的数学分析。