[논문 리뷰] ROCnReg: An R Package for Receiver Operating Characteristic Curve Inference with and without Covariate Information

María Xosé Rodríguez‐Álvarez, Vanda Inácio|arXiv (Cornell University)|2020. 03. 29.

Statistical Methods and Bayesian Inference참고 문헌 52인용 수 8

한 줄 요약

이 논문은 빈도주의 및 베이지안 방법을 사용하여 풀린, 공변수 기반, 공변수 조정된 ROC 곡선을 추정하기 위한 ROCnReg R 패키지를 소개한다. 비모수 및 준모수적 접근법을 포함한다. 이는 공변수를 고려한 진단 정확도 추론, Youden 지수 또는 목표 FPF 기반 최적 임계값, 후행 예측 검사 및 정보 기준을 통한 모델 진단을 가능하게 하며, 비만도-심혈관질환 위험 관련 연구에서 실증적으로 제시된다.

ABSTRACT

The receiver operating characteristic (ROC) curve is the most popular tool used to evaluate the discriminatory capability of diagnostic tests/biomarkers measured on a continuous scale when distinguishing between two alternative disease states (e.g, diseased and nondiseased). In some circumstances, the test's performance and its discriminatory ability may vary according to subject-specific characteristics or different test settings. In such cases, information-specific accuracy measures, such as the covariate-specific and the covariate-adjusted ROC curve are needed, as ignoring covariate information may lead to biased or erroneous results. This paper introduces the R package ROCnReg that allows estimating the pooled (unadjusted) ROC curve, the covariate-specific ROC curve, and the covariate-adjusted ROC curve by different methods, both from (semi) parametric and nonparametric perspectives and within Bayesian and frequentist paradigms. From the estimated ROC curve (pooled, covariate-specific or covariate-adjusted), several summary measures of accuracy, such as the (partial) area under the ROC curve and the Youden index, can be obtained. The package also provides functions to obtain ROC-based optimal threshold values using several criteria, namely, the Youden Index criterion and the criterion that sets a target value for the false positive fraction. For the Bayesian methods, we provide tools for assessing model fit via posterior predictive checks, while model choice can be carried out via several information criteria. Numerical and graphical outputs are provided for all methods. The package is illustrated through the analyses of data from an endocrine study where the aim is to assess the capability of the body mass index to detect the presence or absence of cardiovascular disease risk factors. The package is available from CRAN at https://CRAN.R-project.org/package=ROCnReg.

연구 동기 및 목표

• 나이 및 성별과 같은 환자 특성 공변수에 따라 진단 테스트 성능이 변할 때 기존 ROC 분석의 한계를 해결하기 위해.
• 빈도주의 및 베이지안 프레임워크 모두에서 풀린, 공변수 기반, 공변수 조정된 ROC 곡선을 추정하기 위한 통합 R 패키지 제공하기 위해.
• AUC, 부분 AUC, Youden 지수와 같은 핵심 정확도 측정치에 대한 추론을 지원하고, 다양한 기준을 사용한 최적 임계값 식별을 위해.
• 베이지안 프레임워크 내에서 후행 예측 검사 및 정보 기준을 포함한 모델 평가 및 선택 도구를 제공하기 위해.
• 비만도가 심혈관질환 위험 요인을 탐지하는 데의 능력을 평가하는 실제 내분비학 연구를 통해 패키지의 유용성을 입증하기 위해.

제안 방법

• 공변수 기반 및 조정된 ROC 추정을 위해 비모수적 커널 스무딩과 함께 모수적 모델(예: 정규 오차 가정)을 사용한 빈도주의 방법을 적용한다.
• 유연하고 분포에 종속되지 않은 조건부 밀도 추정을 위해 디리클레 과정 혼합 정규분포와 베이지안 부트스트랩을 활용한 베이지안 비모수적 방법을 적용한다.
• ROC 곡선 및 관련 요약 측정치의 후행 분포 추정을 위해 마르코프 체인 몬테카를로(MCMC) 표본 추출을 사용한다.
• 후행 예측 검사 및 유효 표본 크기를 통한 모델 진단을 수행하며, MCMC 수렴 평가를 위해 게바케 통계량을 사용한다.
• Youden 지수 및 목표 양성률 비율(FPF) 기준을 사용한 최적 진단 임계값 추정을 지원한다.
• 트레이스 플롯, 신뢰구간, 조건부 밀도 및 임계값에 대한 후행 평균 곡선을 포함한 수치적 및 시각적 출력을 제공한다.

실험 결과

연구 질문

• RQ1 나이 및 성별과 같은 공변수에 따라 진단 테스트 성능이 변할 경우 ROC 곡선 추정은 어떻게 향상시킬 수 있는가?
• RQ2 공변수 기반 및 조정된 ROC 곡선 추정에서 빈도주의 접근법과 베이지안 접근법의 상대적 장점은 무엇인가?
• RQ3 공변수 효과가 존재할 경우, Youden 지수 또는 목표 FPF 기준을 사용하여 최적의 진단 임계값을 어떻게 선정할 수 있는가?
• RQ4 베이지안 ROC 모델에 효과적인 모델 평가 도구는 무엇이며, 실무에서 어떻게 구현할 수 있는가?
• RQ5 실제 적용에서 공변수 정보를 통합할 경우, 진단 테스트 평가의 정확성과 공정성은 어느 정도 향상되는가?

주요 결과

• ROCnReg 패키지는 모수적, 준모수적, 비모수적 모델 모두에서 풀린, 공변수 기반, 공변수 조정된 ROC 곡선 추정을 성공적으로 구현하였다.
• 디리클레 과정 혼합 정규분포를 통한 베이지안 비모수적 방법은 강력한 분포 가정 없이도 조건부 밀도 및 ROC 곡선의 탄력적이고 견고한 추정을 가능하게 하였다.
• 후행 예측 검사 및 정보 기준은 특히 복잡하고 고차원적인 설정에서 효과적인 모델 비교 및 선택을 가능하게 하였다.
• 비만도로 심혈관질환 위험 요인을 탐지하기 위한 공변수 기반 임계값은 나이와 성별에 따라 유의미하게 다름을 보였으며, 동일 연령의 남성에 비해 여성에서 더 높은 임계값이 관찰되었다.
• 고정된 양성률 비율(FPF = 0.3)에서 진단 민감도(정확한 양성률, TPF)의 후행 평균은 연령 및 성별에 따라 명확한 패턴을 보였으며, 젊은 여성에 비해 노인 남성에서 더 높은 TPF를 보였다.
• 패키지의 MCMC 기반 추론은 신뢰구간과 유효 표본 크기를 신뢰할 수 있는 방식으로 제공하였으며, 수렴 진단을 통해 안정적인 후행 추정치가 확인되었다.