[논문 리뷰] Receiver Operating Characteristic (ROC) Curves

Peter Vogel, Vogel, Peter|arXiv (Cornell University)|2018. 09. 13.

Reliability and Agreement in Measurement참고 문헌 38인용 수 39

한 줄 요약

이 논문은 수신기 작동 특성(ROC) 곡선을 모델링하기 위해 탄력적인 이항형 두 파라미터 베타 가족을 제안하며, ROC 곡선과 누적분포함수(CDF) 간의 직접적인 등가성을 수립한다. 이는 고전적인 이항모형보다 경험적 ROC 곡선을 더 잘 맞추며, 특히 오목성 조건이 요구될 경우에 유의미하게 뛰어난 성능을 보이며, 추정 및 검정을 위한 점근적 및 몬테카를로 기반의 R 소프트웨어 도구를 제공한다.

ABSTRACT

Receiver operating characteristic (ROC) curves are used ubiquitously to evaluate covariates, markers, or features as potential predictors in binary problems. We distinguish raw ROC diagnostics and ROC curves, elucidate the special role of concavity in interpreting and modelling ROC curves, and establish an equivalence between ROC curves and cumulative distribution functions (CDFs). These results support a subtle shift of paradigms in the statistical modelling of ROC curves, which we view as curve fitting. We introduce the flexible two-parameter beta family for fitting CDFs to empirical ROC curves, derive the large sample distribution of the minimum distance estimator and provide software in R for estimation and testing, including both asymptotic and Monte Carlo based inference. In a range of empirical examples the beta family and its three- and four-parameter ramifications that allow for straight edges fit better than the classical binormal model, particularly under the vital constraint of the fitted curve being concave.

연구 동기 및 목표

• 경험적 ROC 곡선을 피팅할 때 오목성 조건이 요구될 경우 고전적인 이항모형의 한계를 해결하기 위해.
• ROC 곡선과 누적분포함수(CDF) 간의 공식적 등가성을 수립하여 곡선 피팅 기반 접근법으로의 패러다임 전환을 가능하게 하기 위해.
• 오목성을 보장하고 경험적 데이터에 더 정확하게 맞출 수 있는 탄력적인 이항형 두 파라미터 베타 가족을 개발하기 위해.
• 베타 가족에 대해 최소 거리 추정기의 대표표본 분포를 유도하고 강력한 추론 방법을 제공하기 위해.
• 추정, 가설 검정, 그리고 점근적 및 몬테카를로 기반 추론을 위한 실용적인 R 소프트웨어를 제공하기 위해.

제안 방법

• ROC 곡선과 CDF 간의 수학적 등가성을 활용하여 잘 알려진 분포 가족을 사용한 모델링이 가능하도록 한다.
• 경험적 ROC 곡선을 피팅하기 위한 탄력적이고 오목적인 CDF로 이항형 두 파라미터 베타 분포 가족을 도입한다.
• 관측된 곡선과 피팅된 곡선 간의 거리를 최소화함으로써 최소 거리 추정을 적용하여 베타 가족을 경험적 ROC 데이터에 피팅한다.
• 밀러(1984)와 히에시와 터너(1996)의 이론적 결과를 활용하여 최소 거리 추정기의 점근적 분포를 도출한다.
• 점근적 근사와 몬테카를로 시뮬레이션을 모두 포함한 추정 및 추론을 위한 R 소프트웨어를 제공한다.
• 이항형 두 파라미터 가족을 세 및 네 파라미터 변형으로 확장하여 직선 부분을 허용함으로써 피팅의 탄력성을 향상시킨다.

실험 결과

연구 질문

• RQ1 베타 가족의 CDF가 고전적인 이항모형보다 경험적 ROC 곡선을 더 잘 맞출 수 있는가, 특히 오목성 조건이 요구될 경우에?
• RQ2 경험적 ROC 자료에 베타 가족을 피팅할 때 최소 거리 추정기의 대표표본 분포는 무엇인가?
• RQ3 ROC 곡선과 CDF 간의 등가성을 어떻게 활용하여 이진 분류의 통계적 모델링과 추론을 향상시킬 수 있는가?
• RQ4 베타 가족에 대한 최소 거리 추정기의 유한표본 성질은 무엇이며, 몬테카를로 방법을 통해 어떻게 평가할 수 있는가?
• RQ5 추가 파라미터를 가진 탄력적인 베타 가족(세 및 네 파라미터 변형)이 고전적인 이항모형보다 경험적 ROC 곡선의 형태를 더 잘 포착할 수 있는가?

주요 결과

• 이항형 두 파라미터 베타 가족은 오목성 조건이 요구될 경우 고전적인 이항모형보다 경험적 ROC 곡선에 더 뛰어난 피팅을 제공한다.
• 베타 가족은 형태 파라미터 α ≤ 1 이고 β ≥ 2 − α 일 때에만 피팅된 ROC 곡선의 오목성을 보장한다.
• 베타 가족에 대해 최소 거리 추정기의 대표표본 분포는 점근적으로 정규분포이며, 잘 정의된 점근적 공분산 행렬을 가진다.
• 몬테카를로 시뮬레이션은 추론 절차의 신뢰성을 확인하며, 특히 점근적 근사가 부적절할 수 있는 작은 표본 또는 중간 표본에서 유용하다.
• 베타 가족의 세 및 네 파라미터 확장형은 직선 부분을 허용하며, 경험적 ROC 곡선이 선형 세그먼트를 보일 경우에 특히 더 나은 피팅을 가능하게 한다.
• 의료 및 기상학 분야의 실증 사례에서, 베타 가족은 피팅 품질과 이론적 제약 조건 준수 측면에서 항상 이항모형을 능가한다.