[论文解读] ROCnReg: An R Package for Receiver Operating Characteristic Curve Inference with and without Covariate Information

María Xosé Rodríguez‐Álvarez, Vanda Inácio|arXiv (Cornell University)|Mar 29, 2020

Statistical Methods and Bayesian Inference参考文献 52被引用 8

一句话总结

本论文介绍了ROCnReg R软件包，用于使用频率学派和贝叶斯方法（包括非参数和半参数方法）估计合并的、基于协变量的以及调整协变量的ROC曲线。该软件包支持在协变量存在的情况下对诊断准确性进行推断，通过Youden指数或目标假阳性分数（FPF）确定最优截断点，并通过后验预测检验和信息准则进行模型诊断，其在BMI与心血管疾病风险的研究中得到应用示范。

ABSTRACT

The receiver operating characteristic (ROC) curve is the most popular tool used to evaluate the discriminatory capability of diagnostic tests/biomarkers measured on a continuous scale when distinguishing between two alternative disease states (e.g, diseased and nondiseased). In some circumstances, the test's performance and its discriminatory ability may vary according to subject-specific characteristics or different test settings. In such cases, information-specific accuracy measures, such as the covariate-specific and the covariate-adjusted ROC curve are needed, as ignoring covariate information may lead to biased or erroneous results. This paper introduces the R package ROCnReg that allows estimating the pooled (unadjusted) ROC curve, the covariate-specific ROC curve, and the covariate-adjusted ROC curve by different methods, both from (semi) parametric and nonparametric perspectives and within Bayesian and frequentist paradigms. From the estimated ROC curve (pooled, covariate-specific or covariate-adjusted), several summary measures of accuracy, such as the (partial) area under the ROC curve and the Youden index, can be obtained. The package also provides functions to obtain ROC-based optimal threshold values using several criteria, namely, the Youden Index criterion and the criterion that sets a target value for the false positive fraction. For the Bayesian methods, we provide tools for assessing model fit via posterior predictive checks, while model choice can be carried out via several information criteria. Numerical and graphical outputs are provided for all methods. The package is illustrated through the analyses of data from an endocrine study where the aim is to assess the capability of the body mass index to detect the presence or absence of cardiovascular disease risk factors. The package is available from CRAN at https://CRAN.R-project.org/package=ROCnReg.

研究动机与目标

• 为解决标准ROC分析在诊断试验性能受个体协变量（如年龄和性别）影响时的局限性。
• 提供一个统一的R软件包，用于在频率学派与贝叶斯范式下估计合并的、基于协变量的以及调整协变量的ROC曲线。
• 支持对AUC、部分AUC和Youden指数等关键准确度指标的推断，并通过多种标准识别最优截断点。
• 提供用于模型评估与选择的工具，包括贝叶斯框架下的后验预测检验与信息准则。
• 通过一项真实世界内分泌学研究展示该软件包的实用性，评估BMI识别心血管疾病风险因素的能力。

提出的方法

• 采用频率学派方法，使用参数模型（如正态误差假设）和非参数核平滑法进行基于协变量的ROC曲线及调整后ROC曲线的估计。
• 通过狄利克雷过程混合正态分布和贝叶斯自助法应用贝叶斯非参数方法，实现对条件密度的灵活、无分布假设的估计。
• 使用马尔可夫链蒙特卡洛（MCMC）抽样方法估计ROC曲线及其相关汇总统计量的后验分布。
• 通过后验预测检验和有效样本量进行模型诊断，利用Geweke统计量评估MCMC收敛性。
• 支持通过Youden指数和目标假阳性分数（FPF）标准确定最优截断点。
• 提供数值与图形输出，包括轨迹图、可信区间以及条件密度和截断点的后验均值曲线。

实验结果

研究问题

• RQ1 当诊断试验性能随年龄和性别等协变量变化时，如何改进ROC曲线的估计？
• RQ2 在估计基于协变量的ROC曲线和调整后ROC曲线时，频率学派与贝叶斯方法的相对优势是什么？
• RQ3 当存在协变量效应时，如何利用Youden指数或目标FPF等标准选择最优诊断截断点？
• RQ4 哪些模型评估工具对贝叶斯ROC模型有效，如何在实践中实施？
• RQ5 在真实世界应用中，纳入协变量信息在多大程度上能提高诊断试验评估的准确性和公平性？

主要发现

• ROCnReg软件包成功实现了在参数模型、半参数模型和非参数模型下对合并的、基于协变量的以及调整协变量的ROC曲线的估计。
• 通过狄利克雷过程混合正态分布的贝叶斯非参数方法，实现了对条件密度和ROC曲线的灵活、稳健估计，且无需强分布假设。
• 后验预测检验与信息准则在复杂、高维设置下实现了有效的模型比较与选择。
• BMI用于检测心血管疾病风险因素的基于协变量的截断点估计值在不同年龄和性别间存在显著差异，女性的截断点普遍高于同龄男性。
• 在固定假阳性分数（FPF = 0.3）下，真阳性分数（TPF）的后验均值显示出明显的年龄与性别依赖性，老年男性的TPF高于年轻女性。
• 该软件包基于MCMC的推断提供了可靠的可信区间与有效样本量，收敛性诊断确认了后验估计的稳定性。