[논문 리뷰] cutpointr: Improved Estimation and Validation of Optimal Cutpoints in R

Christian Thiele, Gerrit Hirschfeld|arXiv (Cornell University)|2020. 02. 21.

Statistical Methods and Inference참고 문헌 16인용 수 36

한 줄 요약

The cutpointr 패키지는 R에서 최적의 이진 컷포인트를 추정하고 샘플 외(out-of-sample) 성능을 평가하는 데 강력한 방법을 제공하며 부트스트래핑과 다양한 스무딩 기법을 사용합니다.

ABSTRACT

'Optimal cutpoints' for binary classification tasks are often established by testing which cutpoint yields the best discrimination, for example the Youden index, in a specific sample. This results in 'optimal' cutpoints that are highly variable and systematically overestimate the out-of-sample performance. To address these concerns, the cutpointr package offers robust methods for estimating optimal cutpoints and the out-of-sample performance. The robust methods include bootstrapping and smoothing based on kernel estimation, generalized additive models, smoothing splines, and local regression. These methods can be applied to a wide range of binary-classification and cost-based metrics. cutpointr also provides mechanisms to utilize user-defined metrics and estimation methods. The package has capabilities for parallelization of the bootstrapping, including reproducible random number generation. Furthermore, it is pipe-friendly, for example for compatibility with functions from tidyverse. Various functions for plotting receiver operating characteristic curves, precision recall graphs, bootstrap results and other representations of the data are included. The package contains example data from a study on psychological characteristics and suicide attempts suitable for applying binary classification algorithms.

연구 동기 및 목표

• 인-샘플 최적화 너머의 최적 컷포인트에 대한 강건한 추정을 촉진합니다.
• 부트스트랩 검증을 통해 샘플 외(out-of-sample) 성능을 평가하는 방법을 제공합니다.
• tidyverse와 같은 워크플로우와의 통합을 위한 확장 가능하고 정갈하며 파이프 친화적인 도구를 제공합니다.
• 다양한 이진 분류 지표와 사용자가 정의한 지표/방법을 지원합니다.

제안 방법

• 판별 능력을 위한 지표 정의(예: Youden 지표, Se/Sp, PPV/NPV 및 기타 지표).
• 다중 컷포인트 추정 방법 제공: 비모수적 경험치, LOESS 스무딩, 스플라인 스무딩, GAM 스무딩, 부트스트랩, 커널 방법, 그리고 모수적 정상 방법.
• 사용자 정의 지표와 추정 방법을 허용; 결과를 정렬된 데이터 프레임으로 반환합니다.
• 재현 가능한 난수로 병렬화된 부트스트래핑을 가능하게 하여 tidyverse 파이프라인과의 통합을 지원합니다.
• ROC 곡선을 반환하고 부트스트랩 결과, ROC/PR 곡선 및 기타 표현을 플롯하는 옵션을 제공합니다.

실험 결과

연구 질문

• RQ1 다양한 분포 및 샘플 크기에서 최적 컷포인트를 어떻게 견고하게 추정할 수 있는가?
• RQ2 부트스트랩 검증이 컷포인트의 샘플 외 성능 추정의 신뢰성을 향상시키는가?
• RQ3 다양한 데이터 생성 시나리오에서 어떤 추정 방법(경험적, 스무딩, GAM, 부트스트랩, 커널, 정상)이 가장 잘 작동하는가?
• RQ4 대규모 데이터 세트에 대해 컷포인트 추정을 어떻게 파이프라인 친화적이고 확장 가능하게 만들 수 있는가?
• RQ5 사용자가 지표를 유연하게 정의하면서도 샘플 내/샘플 외 요약을 일관되게 얻을 수 있는가?

주요 결과

• 고급 방법(부트스트랩 및 GAM 스무딩)은 일반적으로 간단한 경험적 접근보다 우수한 성능을 보이며 특히 비정규 분포에서 그렇다.
• 정규 분포 가정의 모수적 방법은 정규성 하에서만 잘 작동하며 비정규 분포일 때 잘못된 컷포인트를 초래할 수 있다.
• 경험적 및 LOESS 방법은 정규 데이터 하에서 오차가 더 큰 경향이 있지만 다른 조건에서 다르게 작동할 수 있다; 전반적으로 더 강인한 방법이 바람직하다.
• 부트스트래핑은 파라미터 조정 없이도 샘플 외 성능 추정과 변동성을 제공하지만 병렬화 없이 계산 비용이 많이 들 수 있다.
• Cutpointr는 병렬화 가능한 정갈한 출력에 중점을 두고 tidyverse 워크플로와 원활하게 통합되어 실용적으로 사용된다.