[논문 리뷰] Development, validation and clinical usefulness of a prognostic model for relapse in relapsing-remitting multiple sclerosis

Konstantina Chalkou, Ewout W. Steyerberg외 8명|arXiv (Cornell University)|2021. 05. 14.

Multiple Sclerosis Research Studies참고 문헌 43인용 수 11

한 줄 요약

이 연구는 스위스 다발성 경화증 코hort에서 확보한 실생활 데이터를 활용하여 복수의 재발성 다발성 경화증(RRMS) 환자에서 2년 내 재발 위험을 예측하기 위한 베이지안 일반선형 혼합효과 예측 모델을 개발하고 내부적으로 검증하였다. EDSS, 갈리움 강화 병변, 이전 재발 수 등 8개의 기초 요인을 포함한 이 모델은 편향 보정된 c-통계치가 0.65로 나타나 중간 수준의 분류 능력을 보이며, 15%에서 30% 사이의 위험 기준값에서 임상적으로 유용함을 입증하였다. 또한 개별 환자에 대한 위험 예측을 가능하게 하는 웹 애플리케이션을 제공한다.

ABSTRACT

Prognosis on the occurrence of relapses in individuals with Relapsing-Remitting Multiple Sclerosis (RRMS), the most common subtype of Multiple Sclerosis (MS), could support individualized decisions and disease management and could be helpful for efficiently selecting patients in future randomized clinical trials. There are only three previously published prognostic models on this, all of them with important methodological shortcomings. We aim to present the development, internal validation, and evaluation of the potential clinical benefit of a prognostic model for relapses for individuals with RRMS using real world data. We followed seven steps to develop and validate the prognostic model. Finally, we evaluated the potential clinical benefit of the developed prognostic model using decision curve analysis. We selected eight baseline prognostic factors: age, sex, prior MS treatment, months since last relapse, disease duration, number of prior relapses, expanded disability status scale (EDSS), and gadolinium enhanced lesions. We also developed a web application where the personalized probabilities to relapse within two years are calculated automatically. The optimism-corrected c-statistic is 0.65 and the optimism-corrected calibration slope was 0.92. The model appears to be clinically useful between the range 15% and 30% of the threshold probability to relapse. The prognostic model we developed offers several advantages in comparison to previously published prognostic models on RRMS. Importantly, we assessed the potential clinical benefit to better quantify the clinical impact of the model. Our web application, once externally validated in the future, could be used by patients and doctors to calculate the individualized probability to relapse within two years and to inform the management of their disease.

연구 동기 및 목표

• 실생활 데이터를 활용한 RRMS 환자에서 재발에 대한 강력하고 검증된 예측 모델의 부족을 해결하기 위해.
• 이전 모델의 방법론적 한계(결측치 처리 부족, 내부 검증 부재, 임상적 유용성 평가 부재 등)를 극복하기 위해.
• 개별 치료 결정을 지원하기 위해 2년 내 재발 위험을 개인화하여 예측할 수 있는 임상적으로 유용한 도구를 개발하기 위해.
• 다양한 기준 확률에서 결정 곡선 분석을 통해 모델의 순수 임상적 유용성을 평가하기 위해.
• 의료진과 환자가 주요 예후 인자에 기반해 개인별 재발 위험을 추정할 수 있도록 공개 웹 애플리케이션을 제작하기 위해.

제안 방법

• 개인 내 반복 측정을 고려하고 추정의 안정성을 향상시키기 위해 베이지안 일반선형 혼합효과 모델을 개발하였다.
• 체계적인 문헌 고찰을 통해 8개의 기초 예후 요인을 선정: 연령, 성별, 질환 지속 기간, EDSS, 이전 재발 수, 마지막 재발 이후 경과한 개월 수, 치료 상태, 갈리움 강화 병변 수.
• 결측치 처리를 위해 다중 대체법을 적용하여 완전 사례 분석에 의한 편향 가능성을 감소시켰다.
• 과적합 방지를 및 모델 캘리브레이션 향상을 위해 수축 기법(예: 펨프리드 최대우도)을 사용하였다.
• 500회 부트스트랩 재표본 추출을 활용한 내부 검증을 실시하였으며, 편향 보정된 캘리브레이션 및 분류 능력 측정치를 산출하였다.
• 임상적 유용성을 평가하기 위해 결정 곡선 분석을 수행하여 임상적으로 관련된 기준 확률 범위에서 순수 이득을 평가하였다.

실험 결과

연구 질문

• RQ1 이전 모델에 비해 더 높은 방법론적 엄밀성을 확보한 실생활 데이터 기반의 RRMS 재발 위험 예측 모델을 개발할 수 있는가?
• RQ2 RRMS 환자에서 2년 내 재발을 예측하는 데 가장 유의미한 기초 임상 및 영상 인자는 무엇인가?
• RQ3 편향 보정을 시행한 후 모델이 재발 유무를 얼마나 잘 분류하는가?
• RQ4 모델을 사용한 의사결정의 순수 임상적 유용성은 '모든 환자에게 치료' 또는 '모든 환자에게 치료하지 않음' 전략보다 높은가?
• RQ5 이 모델 기반의 웹 기반 도구가 임상 현장에서 개인화된 치료 결정을 지원할 수 있는가?

주요 결과

• 예측 모델은 편향 보정된 c-통계치가 0.65로 나타나 2년 내 재발 위험을 예측하는 데 중간 수준의 분류 능력을 보였다.
• 편향 보정된 캘리브레이션 기울기는 0.92로 예측 확률과 관측 확률 간 양호한 일치를 나타내었다.
• 결정 곡선 분석 결과, 기준 확률가 15%에서 30% 사이일 경우 모델 전략이 '모든 환자에게 치료' 또는 '모든 환자에게 치료하지 않음' 전략보다 높은 순수 이득을 보였다.
• 모델은 13.7건의 사건당 변수 수(EPV)를 확보하여 신뢰할 수 있는 추정을 위한 충분한 표본 크기 효율성을 보였다.
• https://cinema.ispm.unibe.ch/shinies/rrms/ 에서 접근 가능한 웹 애플리케이션은 8개의 주요 예후 인자를 입력함으로써 실시간으로 개인화된 위험 예측을 가능하게 한다.
• 모델는 아직 외부 검증을 통과하지 못했으며, 독립된 코hort에서 검증되지 않은 상태이므로 임상 적용 전에 외부 검증이 필요하다.