[论文解读] A Bootstrap Machine Learning Approach to Identify Rare Disease Patients from Electronic Health Records

Ravi Garg, Shu Dong+2 more|arXiv (Cornell University)|Sep 6, 2016

Machine Learning in Healthcare参考文献 31被引用 13

一句话总结

本文提出一种自举机器学习方法，从电子健康记录（EHRs）中识别罕见病患者，特别是心脏淀粉样变性患者。基于心脏病专家参与整理的73例阳性病例和197例阴性病例的金标准数据集，该方法通过集成分类器实现了0.98的高F1分数，识别出年龄、心脏骤停和高血压等关键预测因素。

ABSTRACT

Rare diseases are very difficult to identify among large number of other possible diagnoses. Better availability of patient data and improvement in machine learning algorithms empower us to tackle this problem computationally. In this paper, we target one such rare disease - cardiac amyloidosis. We aim to automate the process of identifying potential cardiac amyloidosis patients with the help of machine learning algorithms and also learn most predictive factors. With the help of experienced cardiologists, we prepared a gold standard with 73 positive (cardiac amyloidosis) and 197 negative instances. We achieved high average cross-validation F1 score of 0.98 using an ensemble machine learning classifier. Some of the predictive variables were: Age and Diagnosis of cardiac arrest, chest pain, congestive heart failure, hypertension, prim open angle glaucoma, and shoulder arthritis. Further studies are needed to validate the accuracy of the system across an entire health system and its generalizability for other diseases.

研究动机与目标

• 解决在大规模电子健康记录中识别罕见病患者（尤其是心脏淀粉样变性）的挑战。
• 通过利用专家标注的金标准数据，克服罕见病检测中数据稀缺和标注困难的问题。
• 开发一种机器学习流程，自动从电子健康记录中识别潜在的心脏淀粉样变性病例。
• 利用可解释的机器学习方法发现并验证与心脏淀粉样变性最相关的预测临床特征。
• 评估在标注样本有限的低资源环境下，自举学习方法的可行性和性能。

提出的方法

• 通过与经验丰富的心脏病专家合作，构建了73例确诊心脏淀粉样变性病例和197例阴性对照的金标准数据集。
• 采用集成机器学习分类器，以提高在数据不平衡情况下的泛化能力和预测性能。
• 基于临床相关性和统计显著性选择预测变量，包括年龄、心脏骤停、胸痛以及高血压和青光眼等共病。
• 应用交叉验证评估模型性能，重点关注F1分数作为主要指标，以平衡精确率和召回率。
• 采用自举方法，尽管标注数据有限，仍通过迭代方式提升模型鲁棒性和特征选择能力。
• 通过识别并报告对预测贡献最大的临床变量，优先考虑可解释性。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，机器学习模型能否有效从电子健康记录中识别出罕见病患者（如心脏淀粉样变性患者）？
• RQ2 电子健康记录中的哪些临床变量对心脏淀粉样变性最具预测性，它们如何影响模型性能？
• RQ3 与单模型基线相比，集成学习方法在检测罕见病时是否能实现更高的精确率和召回率？
• RQ4 当仅有少量专家标注病例时，自举学习策略在多大程度上能提升模型性能？
• RQ5 该模型在不同医疗系统数据源中的性能是否具有可推广性？其在实际部署中存在哪些局限性？

主要发现

• 集成机器学习分类器在交叉验证中实现了平均F1分数0.98，表明在识别心脏淀粉样变性患者方面表现优异。
• 关键预测变量包括年龄、心脏骤停诊断、胸痛、充血性心力衰竭、高血压以及原发性开角型青光眼。
• 该模型表现出高精确率和高召回率，表明在减少假阳性和假阴性方面实现了良好平衡。
• 自举方法使模型能够从少量专家标注的数据集中稳健学习，增强了模型稳定性与特征选择能力。
• 将肩关节关节炎和青光眼等共病纳入预测因素，凸显了在罕见病检测中考虑更广泛临床背景的重要性。
• 结果表明，机器学习可显著支持在电子健康记录中实现罕见病的早期检测，但需在多样化的医疗系统中进一步验证。