[论文解读] Impact of predictor measurement heterogeneity across settings on performance of prediction models: a measurement error perspective

Kim Luijken, Rolf H. H. Groenwold+3 more|arXiv (Cornell University)|Jun 27, 2018

Health Systems, Economic Evaluations, Quality of Life参考文献 15被引用 3

一句话总结

本研究探讨了在推导与验证设置中，预测因子测量方法的差异对临床预测模型性能的影响。通过使用测量误差模型，研究证明测量协议的异质性（如不同试剂制造商或临界值）会导致校准偏差、区分度下降及预测准确性降低，从而损害模型的可迁移性与临床实用性。

ABSTRACT

It is widely acknowledged that the predictive performance of clinical prediction models should be studied in patients that were not part of the data in which the model was derived. Out-of-sample performance can be hampered when predictors are measured differently at derivation and external validation. This may occur, for instance, when predictors are measured using different measurement protocols or when tests are produced by different manufacturers. Although such heterogeneity in predictor measurement between deriviation and validation data is common, the impact on the out-of-sample performance is not well studied. Using analytical and simulation approaches, we examined out-of-sample performance of prediction models under various scenarios of heterogeneous predictor measurement. These scenarios were defined and clarified using an established taxonomy of measurement error models. The results of our simulations indicate that predictor measurement heterogeneity can induce miscalibration of prediction and affects discrimination and overall predictive accuracy, to extents that the prediction model may no longer be considered clinically useful. The measurement error taxonomy was found to be helpful in identifying and predicting effects of heterogeneous predictor measurements between settings of prediction model derivation and validation. Our work indicates that homogeneity of measurement strategies across settings is of paramount importance in prediction research.

研究动机与目标

• 探讨预测因子测量异质性在推导与验证设置之间对预测模型性能的影响。
• 识别测量协议差异（如不同试剂制造商或临界值）对校准、区分度及整体准确率的影响。
• 评估测量误差模型是否能系统性分类并预测此类异质性的影响。
• 强调一致测量策略在确保模型可迁移性与临床实用性方面的重要性。
• 倡导在推导与验证研究中透明报告测量程序，以支持可靠的外部验证。

提出的方法

• 采用测量误差模型分类法（如经典模型、Berkson模型及混合模型），以定义和分类测量异质性的场景。
• 通过解析推导，研究测量误差对逻辑回归模型中回归系数及线性预测变量方差的影响。
• 开展大样本模拟，比较测量异质性在不同设置间的影响与推导数据中测量误差的影响。
• 在有限样本中进行广泛的蒙特卡洛模拟，评估在不同程度测量异质性下的模型外部性能。
• 评估关键性能指标：校准、区分度（C统计量）及Brier评分在不同测量误差结构下的表现。
• 探索测量误差校正与残差组内相关系数（RICC）在量化异质性方面的可行性，尽管指出其在现实应用中的局限性。

实验结果

研究问题

• RQ1 推导与验证设置之间预测因子测量的异质性如何影响临床预测模型的校准、区分度及整体预测准确性？
• RQ2 测量误差模型在多大程度上可预测异质性测量程序对外部性能的影响？
• RQ3 测量异质性与其他因素（如模型过拟合、人群差异）相比，对模型性能下降的相对贡献如何？
• RQ4 使用不同测量协议（如不同试剂制造商或自报与客观测量）如何影响模型的可迁移性？
• RQ5 使用常规收集数据或试验数据集（测量误差较低）对源自高精度数据的模型进行外部验证，其影响是什么？

主要发现

• 在不同设置间存在预测因子测量异质性时，可能引发显著的校准偏差，降低外部验证中预测概率的可靠性。
• 异质性测量程序会负面影响区分度（C统计量）与整体预测准确性（Brier评分），可能导致模型在临床上无法使用。
• 测量误差分类法能有效识别并预测由测量异质性引起的性能退化性质与程度。
• 由高精度测量（如实验室检测）推导出的模型，在测量精度较低的真实世界环境中可能表现不佳，原因在于校准偏差。
• 使用测量误差极小的数据集（如临床试验数据）进行验证，可能导致性能估计过于乐观，掩盖校准问题。
• 推导与验证阶段采用一致的测量策略对实现可靠模型可迁移性至关重要，且报告测量程序对实现有效外部验证具有关键意义。