[论文解读] Development, validation and clinical usefulness of a prognostic model for relapse in relapsing-remitting multiple sclerosis

Konstantina Chalkou, Ewout W. Steyerberg+8 more|arXiv (Cornell University)|May 14, 2021

Multiple Sclerosis Research Studies参考文献 43被引用 11

一句话总结

本研究基于瑞士多发性硬化队列的真实世界数据，开发并内部验证了一种用于预测复发缓解型多发性硬化（RRMS）患者两年复发风险的贝叶斯广义线性混合效应预后模型。该模型纳入了包括EDSS、钆增强病灶和既往复发在内的八个基线因素，经校正乐观性偏差后的曲线下面积（c-statistic）为0.65，且在15%至30%的风险阈值范围内展现出临床实用性，配套的网络应用程序可实现个体化风险估计。

ABSTRACT

Prognosis on the occurrence of relapses in individuals with Relapsing-Remitting Multiple Sclerosis (RRMS), the most common subtype of Multiple Sclerosis (MS), could support individualized decisions and disease management and could be helpful for efficiently selecting patients in future randomized clinical trials. There are only three previously published prognostic models on this, all of them with important methodological shortcomings. We aim to present the development, internal validation, and evaluation of the potential clinical benefit of a prognostic model for relapses for individuals with RRMS using real world data. We followed seven steps to develop and validate the prognostic model. Finally, we evaluated the potential clinical benefit of the developed prognostic model using decision curve analysis. We selected eight baseline prognostic factors: age, sex, prior MS treatment, months since last relapse, disease duration, number of prior relapses, expanded disability status scale (EDSS), and gadolinium enhanced lesions. We also developed a web application where the personalized probabilities to relapse within two years are calculated automatically. The optimism-corrected c-statistic is 0.65 and the optimism-corrected calibration slope was 0.92. The model appears to be clinically useful between the range 15% and 30% of the threshold probability to relapse. The prognostic model we developed offers several advantages in comparison to previously published prognostic models on RRMS. Importantly, we assessed the potential clinical benefit to better quantify the clinical impact of the model. Our web application, once externally validated in the future, could be used by patients and doctors to calculate the individualized probability to relapse within two years and to inform the management of their disease.

研究动机与目标

• 为解决现有基于真实世界数据的RRMS患者复发风险预测模型缺乏稳健性和验证的问题。
• 克服以往模型在方法学上的局限性，包括对缺失数据处理不充分、缺乏内部验证以及缺少临床获益评估。
• 开发一种具有临床实用性的个体化预测工具，用于预测两年内复发风险，以支持个性化治疗决策。
• 通过决策曲线分析，评估该模型在不同阈值概率下的净临床获益。
• 创建一个公开可访问的网络应用程序，供临床医生和患者基于关键预后因素估算个体复发风险。

提出的方法

• 采用贝叶斯广义线性混合效应模型，以考虑个体内部的重复测量，提升估计的稳定性。
• 通过系统性文献回顾筛选出八个基线预后因素：年龄、性别、病程、EDSS、既往复发次数、上次复发以来的月数、治疗状态以及钆增强病灶数量。
• 应用多重插补法处理缺失数据，减少因剔除不完整病例分析而产生的潜在偏倚。
• 采用收缩技术（如惩罚似然法）以减少过拟合，并改善模型校准度。
• 通过500次自举重抽样进行内部验证，采用校正乐观性偏差的校准与区分度指标。
• 通过决策曲线分析评估临床实用性，以确定在临床相关阈值概率下的净获益。

实验结果

研究问题

• RQ1 能否基于真实世界数据开发出方法学上优于以往模型的RRMS复发风险预测模型？
• RQ2 哪些基线临床和影像学因素对预测RRMS患者两年内复发最具预测力？
• RQ3 在纠正乐观性偏差后，该模型在区分将复发与不会复发的患者方面表现如何？
• RQ4 与‘全部治疗’或‘不治疗’策略相比，使用该模型在决策中的净临床获益如何？
• RQ5 基于该模型的网络工具是否能够在临床实践中支持个体化治疗决策？

主要发现

• 该预后模型经校正乐观性偏差后的曲线下面积（c-statistic）为0.65，表明其对两年复发风险具有中等程度的区分能力。
• 经校正乐观性偏差的校准斜率为0.92，表明预测概率与实际观察到的概率之间具有良好的一致性。
• 决策曲线分析显示，当阈值概率在15%至30%之间时，该模型策略的净获益最高，优于‘全部治疗’或‘不治疗’的策略。
• 该模型基于每变量事件数（EPV）为13.7，表明样本量效率足够，可实现可靠的估计。
• 网络应用程序（网址：https://cinema.ispm.unibe.ch/shinies/rrms/）可基于八个关键预后因素实时提供个体化风险预测。
• 在临床实施前仍需进行外部验证，因为该模型目前仅完成了内部验证，尚未在独立队列中进行测试。