[论文解读] AUC: Nonparametric Estimators and Their Smoothness.

Waleed A. Yousef|arXiv (Cornell University)|Jul 30, 2019

Advanced Statistical Methods and Models参考文献 20被引用 5

一句话总结

本文提出了一种统一的非参数框架，通过自助抽样方法（如自 resampling）估计 AUC，扩展了既有的误差率估计技术。结果表明，AUC 估计器的行为与误差率估计器相似，其中 .632+ 自助法在准确性和与真实条件 AUC 的弱相关性方面表现略优。

ABSTRACT

Nonparametric estimation of a statistic, in general, and of the error rate of a classification rule, in particular, from just one available dataset through resampling is well mathematically founded in the literature using several versions of bootstrap and influence function. This article first provides a concise review of this literature to establish the theoretical framework that we use to construct, in a single coherent framework, nonparametric estimators of the AUC (a two-sample statistic) other than the error rate (a one-sample statistic). In addition, the smoothness of some of these estimators is well investigated and explained. Our experiments show that the behavior of the designed AUC estimators confirms the findings of the literature for the behavior of error rate estimators in many aspects including: the weak correlation between the bootstrap-based estimators and the true conditional AUC; and the comparable accuracy of the different versions of the bootstrap estimators in terms of the RMS with little superiority of the .632+ bootstrap estimator.

研究动机与目标

• 将先前用于误差率估计的非参数重抽样方法扩展至 AUC，一种两样本统计量。
• 建立基于影响函数和自助法技术的 AUC 估计的连贯理论框架。
• 研究非参数 AUC 估计器的平滑性特性。
• 从准确性和与真实 AUC 的相关性角度，评估各种基于自助法的 AUC 估计器的实证性能。

提出的方法

• 应用影响函数理论和自助重抽样技术，构建 AUC 的非参数估计器。
• 将 AUC 估计器表述为经验分布的泛函，利用 AUC 的两样本特性。
• 对单一数据集应用标准自助法、.632 自助法和 .632+ 自助法，以估计 AUC。
• 通过理论推导和渐近性质分析估计器的平滑性。
• 使用蒙特卡洛实验，比较估计器在均方根（RMS）误差方面的性能。
• 评估基于自助法的 AUC 估计值与真实条件 AUC 之间的相关性。

实验结果

研究问题

• RQ1 如何将先前用于误差率估计的非参数重抽样方法，扩展至 AUC 这类两样本统计量？
• RQ2 在重抽样条件下，非参数 AUC 估计器的理论平滑性行为如何？
• RQ3 不同自助法变体（如 .632+、.632）在 AUC 估计中的准确性如何比较？
• RQ4 基于自助法的 AUC 估计值与真实条件 AUC 之间的弱相关性在多大程度上存在？
• RQ5 AUC 估计器的实证行为是否与以往文献中观察到的误差率估计器的行为一致？

主要发现

• 所提出的框架成功地以统一方式将非参数重抽样技术从误差率扩展至 AUC 估计。
• 非参数 AUC 估计器的平滑性得到了良好刻画，且与理论预期一致。
• 基于自助法的 AUC 估计器与真实条件 AUC 之间表现出弱相关性，证实了误差率估计文献中的发现。
• .632+ 自助法估计器在均方根（RMS）误差方面表现出略高的准确性。
• 不同自助法版本在 AUC 估计中的准确性相当，其中 .632+ 方法表现出微弱但一致的优越性。
• 实证结果证实，AUC 估计器在关键统计特性上与误差率估计器的行为相似，验证了现有理论的扩展。