[论文解读] Machine learning-based clinical prediction modeling -- A practical guide for clinicians

Julius M. Kernbach, Victor E. Staartjes|arXiv (Cornell University)|Jun 23, 2020

Machine Learning in Healthcare参考文献 36被引用 5

一句话总结

本文为临床医生提供了构建和评估基于机器学习的临床预测模型的实用、分步指南，涵盖数据预处理、特征选择、重采样、模型验证和报告等环节。它强调方法论严谨性、可推广性和透明度，以确保临床应用，配有完整的R代码实现管道和真实世界胶质母细胞瘤数据集示例。

ABSTRACT

In the emerging era of big data, larger available clinical datasets and computational advances have sparked a massive interest in machine learning-based approaches. The number of manuscripts related to machine learning or artificial intelligence has exponentially increased over the past years. As analytical machine learning tools become readily available for clinicians to use, the understanding of key concepts and the awareness of analytical pitfalls are increasingly required for clinicians, investigators, reviewers and editors, who even as experts in their clinical field, sometimes find themselves insufficiently equipped to evaluate machine learning methodologies. In the first section, we provide explanations on the general principles of machine learning, as well as analytical steps required for successful machine learning-based predictive modelling - which is the focus of this series. In further sections, we review the importance of resampling, overfitting and model generalizability as well as feature reduction and selection (Part II), strategies for model evaluation, reporting and discussion of common caveats and other points of significance (Part III), as well as offer a practical guide to classification (Part IV) and regression modelling (Part V), with a complete coding pipeline. Methodological rigor and clarity as well as understanding of the underlying reasoning of the internal workings of a machine learning approach are required, otherwise predictive applications despite being strong analytical tools are not well accepted into the clinical routine. Going forward, machine learning and artificial intelligence shape and influence modern medicine across disciplines including the field of neurosurgery.

研究动机与目标

• 通过提供医疗保健中预测建模的清晰、可操作的指南，弥合临床医生与机器学习之间的差距。
• 解决临床机器学习应用中常见的方法论陷阱，如过拟合、泛化能力差和不恰当的模型评估。
• 通过报告方法论的严谨性和透明度，提升临床信任度和采纳率。
• 提供使用R语言实现的完整、可复现的编码管道，适用于临床数据集中的分类和回归任务。
• 使临床医生、审稿人和编辑能够掌握批判性评估医学文献中机器学习研究的知识。

提出的方法

• 介绍专为临床数据设计的机器学习核心原理，重点聚焦于预测任务的监督学习。
• 概述一个结构化工作流程：数据准备、特征选择、模型训练、重采样（如交叉验证）和性能评估。
• 强调使用重采样技术（如k折交叉验证）来评估模型泛化能力并减少过拟合。
• 应用特征降维和选择方法以提高模型可解释性和性能，特别是在高维临床数据中。
• 使用真实临床数据（胶质母细胞瘤数据集）提供基于R的完整实现管道，适用于分类和回归模型。
• 强调报告标准和透明度，包括效应量、校准度、区分度以及模型评估中的置信区间。

实验结果

研究问题

• RQ1 临床医生如何在不具备深厚统计学或编程专业知识的情况下，可靠地开发用于临床预测的机器学习模型？
• RQ2 临床机器学习中的关键方法论陷阱是什么？在模型开发和验证过程中如何避免？
• RQ3 如何使用重采样技术（如交叉验证）来评估和提升模型的泛化能力？
• RQ4 在高维临床数据集中，特征选择和降维的最佳实践是什么？
• RQ5 如何报告和解释机器学习模型，以确保其临床相关性和可信度？

主要发现

• 适当的重采样技术（如k折交叉验证）对于防止过拟合并确保临床预测模型的泛化能力至关重要。
• 特征选择显著提升了模型性能和可解释性，尤其在存在大量相关或无关预测变量的数据集中。
• 过拟合在临床机器学习中仍是主要风险，特别是在模型复杂度超过数据量时，可通过严格的验证加以缓解。
• 包含校准度和区分度指标（如c统计量、Brier评分）对于评估模型性能至关重要，不能仅依赖准确率。
• 完整的、可复现的基于R的编码管道可增强透明度，并促进机器学习在临床研究中的应用。
• 临床医生和审稿人亟需提升机器学习的方法论素养，以批判性评估已发表模型的有效性和临床实用性。