[论文解读] cutpointr: Improved Estimation and Validation of Optimal Cutpoints in R

Christian Thiele, Gerrit Hirschfeld|arXiv (Cornell University)|Feb 21, 2020

Statistical Methods and Inference参考文献 16被引用 36

一句话总结

cutpointr 包在 R 中提供稳健的方法来估计最佳二元切点并评估其样本外表现，使用自助法和各种平滑技术。

ABSTRACT

'Optimal cutpoints' for binary classification tasks are often established by testing which cutpoint yields the best discrimination, for example the Youden index, in a specific sample. This results in 'optimal' cutpoints that are highly variable and systematically overestimate the out-of-sample performance. To address these concerns, the cutpointr package offers robust methods for estimating optimal cutpoints and the out-of-sample performance. The robust methods include bootstrapping and smoothing based on kernel estimation, generalized additive models, smoothing splines, and local regression. These methods can be applied to a wide range of binary-classification and cost-based metrics. cutpointr also provides mechanisms to utilize user-defined metrics and estimation methods. The package has capabilities for parallelization of the bootstrapping, including reproducible random number generation. Furthermore, it is pipe-friendly, for example for compatibility with functions from tidyverse. Various functions for plotting receiver operating characteristic curves, precision recall graphs, bootstrap results and other representations of the data are included. The package contains example data from a study on psychological characteristics and suicide attempts suitable for applying binary classification algorithms.

研究动机与目标

• 促进对最佳切点的稳健估计，超越样本内优化。
• 提供通过自助验证评估样本外表现的方法。
• 提供可扩展、整洁、管道友好的工具，便于与 tidyverse 等工作流集成。
• 支持广泛的二分类评估指标以及用户自定义的指标/方法。

提出的方法

• 定义区分能力的指标（如 Youden 指数、Se/Sp、PPV/NPV 以及其他指标）。
• 提供多种切点估计方法：非参数经验、LOESS 平滑、样条平滑、GAM 平滑、自助法、核方法，以及参数正态法。
• 允许用户定义指标和估计方法；结果以整洁数据框返回。
• 实现可并行化的自助法，并可重现随机数；与 tidyverse 工作流集成。
• 返回 ROC 曲线并提供绘制自助结果、ROC/PR 曲线以及其他表示的选项。

实验结果

研究问题

• RQ1 如何在不同分布和样本量下对最佳切点进行稳健估计？
• RQ2 自助验证是否提高对切点的样本外表现估计的可靠性？
• RQ3 在各种数据生成场景下，哪些估计方法（经验、平滑、GAM、自助法、核方法、正态法）表现最佳？
• RQ4 如何使切点估计对管道友好并适用于大规模数据集？
• RQ5 用户是否可以flexibly 定义指标并仍然获得一致的样本内和样本外总结？

主要发现

• 高级方法（自助法和 GAM 平滑）通常优于简单的经验方法，尤其是在非正态数据情况下。
• 正态参数法仅在正态性下表现良好，对于非正态分布可能产生错误的切点。
• 经验法和 LOESS 在正态数据下往往误差较高，但在其他条件下可能表现不同；总体来说，更稳健的方法更可取。
• 自助法提供样本外表现估计及变异性，而不需要调整参数，尽管在没有并行化时计算量可能很大。
• Cutpointr 强调可并行、整洁的输出，并能与 tidyverse 工作流无缝集成，便于实际使用。