[논문 리뷰] Bayesian nonparametric inference for the covariate-adjusted ROC curve

Vanda Inácio, María Xosé Rodríguez‐Álvarez|Edinburgh Research Explorer|2018. 05. 30.

Bayesian Methods and Mixture Models참고 문헌 8인용 수 11

한 줄 요약

이 논문은 B-spline과 종속 디리클레 프로세스 혼합모형을 결합한 베이지안 비모수적 방법을 제안하여 고위험군의 ROC 곡선을 추정한다. 이 방법은 베이지안 부트스트랩과 함께 사용되어 연령, 성별과 같은 공변량을 조정하면서도 진단 시험 정확도에 대한 강건하고 유연한 추론을 가능하게 한다. 시뮬레이션 연구 결과, 복잡한 상황에서도 진짜 ROC 곡선을 정확히 복원하고 타당한 불확실성 정량화를 보여주었다.

ABSTRACT

Accurate diagnosis of disease is of fundamental importance in clinical practice and medical research. Before a medical diagnostic test is routinely used in practice, its ability to distinguish between diseased and nondiseased states must be rigorously assessed through statistical analysis. The receiver operating characteristic (ROC) curve is the most popular used tool for evaluating the discriminatory ability of continuous-outcome diagnostic tests. It has been acknowledged that several factors (e.g., subject-specific characteristics, such as age and/or gender) can affect the test's accuracy beyond disease status. Recently, the covariate-adjusted ROC curve has been proposed and successfully applied as a global summary measure of diagnostic accuracy that takes covariate information into account. We motivate the use of the covariate-adjusted ROC curve and develop a highly robust model based on a combination of B-splines dependent Dirichlet process mixture models and the Bayesian bootstrap. Multiple simulation studies demonstrate the ability of our model to successfully recover the true covariate-adjusted ROC curve and to produce valid inferences in a variety of complex scenarios. Our methods are motivated by and applied to an endocrine study where the main goal is to assess the accuracy of the body mass index, adjusted for age and gender, for predicting clusters of cardiovascular disease risk factors. The R-package AROC, implementing our proposed methods, is provided.

연구 동기 및 목표

• 표준 ROC 분석이 연령, 성별과 같은 환자 특성 공변량을 忽시하는 한계를 해결하기 위해.
• 모수적 분포 형태를 가정하지 않고도 공변량별로 ROC 곡선을 추정할 수 있는 민감하고 강건한 통계 모델을 개발하기 위해.
• 분류 또는 단순화된 가정으로 인한 편향을 피하기 위해 공변량 정보를 직접 ROC 곡선 추정에 통합함으로써 추론 정확도를 향상시키기 위해.
• 사후 분포와 신뢰 밴드를 통해 불확실성 정량화를 가능하게 하는 완전한 베이지안 비모수적 프레임워크를 제공하기 위해.
• 실제 시뮬레이션 시나리오와 심장혈관 위험 요인 예측을 위한 체질량지수(BMI)에 관한 실제 내분비학 연구에서의 성능을 입증하기 위해.

제안 방법

• 공변량에 조건부로 진단 시험 결과의 분포를 민감하게 모델링하기 위해 B-spline을 사용한 종속 디리클레 프로세스 혼합모형을 활용한다.
• 병변군 및 비병변군의 조건부 누적분포함수를 비모수적으로 추정하기 위해 베이지안 부트스트랩을 사용한다.
• 공변량 조정 ROC 곡선을 조건부 분포의 사후 예측 분포를 통합하여 공변량의 함수로 모델링한다.
• 디리클레 프로세스의 혼합 측도에 비모수적 사전분포를 적용하여 결과 분포의 데이터 주도적 군집화를 가능하게 한다.
• B-spline 기저 함수를 통해 관계점 배치와 스무딩을 구현하며, 내부 관계점 수(K)는 초모수로 간주한다.
• 다양한 관계점 수와 사전 사양에 대한 모델 비교 및 선택을 위해 WAIC 및 LPML 기준을 사용한다.

Figure 2: True (solid black line) and average value of 100 simulated datasets (dashed lines) of the posterior mean (for the Bayesian estimators) of the covariate adjusted ROC curve/pooled ROC curve for each of the scenarios and sample size $(n_{\bar{D}},n_{D})=(200,200)$ . The shaded area are bands

실험 결과

연구 질문

• RQ1 복잡하고 비정규적이며 이방성인 데이터 구조에서, 베이지안 비모수적 모형이 진짜 공변량 조정 ROC 곡선을 정확히 복원할 수 있는가?
• RQ2 연령과 성별과 같은 공변량의 포함 여부가 심장혈관 위험 요인 예측을 위한 BMI의 진단 정확도에 어떤 영향을 미치는가?
• RQ3 다양한 시뮬레이션 시나리오에서, 제안된 방법의 커버리지와 편향 측면에서 파라미터적 또는 준모수적 대안과 비교해 볼 때 성능은 어떠한가?
• RQ4 다양한 사전 사양(예: 농도 매개변수, 척도 초모수)이 사후 추론과 모형 적합도에 어떤 영향을 미치는가?
• RQ5 다양한 공변량 값 범위에서 진짜 ROC 곡선을 덮을 수 있는 타당한 신뢰 밴드를 제공할 수 있는가?

주요 결과

• 제안된 베이지안 비모수적 방법은 복잡하고 비정규적이며 이방성인 데이터 구조를 가진 모든 6개의 시뮬레이션 시나리오에서 진짜 공변량 조정 ROC 곡선을 성공적으로 복원하였다.
• 이 방법으로 생성된 사후 신뢰 밴드는 모든 시나리오와 FPF 수준(0.1 및 0.3)에서 약 95% 커버리지율을 달성하여 타당한 불확실성 정량화를 보여주었다.
• 내부 관계점 수가 4개인 모형(K=4)이 관계점 수가 0개인 모형(K=0)보다 커버리지와 ROC 곡선 추정의 평균제곱오차 측면에서 일관되게 뛰어난 성능을 보였다.
• 실제 내분비학 연구에서 BMI와 심장혈관 위험 요인에 대한 진단 정확도를 분석한 결과, 연령과 성별에 따라 진단 정확도가 유의미하게 달라졌으며, 고령 남성과 청소년 여성에서 AUC가 더 높았다.
• WAIC 및 LPML를 통한 모형 비교 결과, 내부 관계점 수가 더 많은 모형(K=4)이 더 나은 적합도를 보였으며, K가 증가함에 따라 WAIC는 증가하고 LPML는 감소하여 더 높은 유연성에 따른 모형 적합도 향상을 시사하였다.
• 제안된 방법을 구현한 R 패키지 AROC는 공개되어 있어 실제 진단 시험 평가 문제에 대해 재현 가능하고 접근성이 높은 응용을 가능하게 한다.

(a) Age-specific AUC