[论文解读] Learning from the experts: From expert systems to machine-learned diagnosis models

Murali Ravuri, Anitha Kannan+2 more|arXiv (Cornell University)|Apr 21, 2018

Machine Learning in Healthcare参考文献 21被引用 15

一句话总结

本文提出一种混合方法，利用专家系统作为生成模型，为深度学习模型在医学诊断中生成合成训练数据。通过在该合成数据（结合真实电子健康记录，EHR）上进行训练，所得模型的准确性和鲁棒性均优于仅使用专家系统的模型，同时实现了对新疾病的灵活扩展，并可与现实世界临床数据集成。

ABSTRACT

Expert diagnostic support systems have been extensively studied. The practical applications of these systems in real-world scenarios have been somewhat limited due to well-understood shortcomings, such as lack of extensibility. More recently, machine-learned models for medical diagnosis have gained momentum, since they can learn and generalize patterns found in very large datasets like electronic health records. These models also have shortcomings - in particular, there is no easy way to incorporate prior knowledge from existing literature or experts. In this paper, we present a method to merge both approaches by using expert systems as generative models that create simulated data on which models can be learned. We demonstrate that such a learned model not only preserves the original properties of the expert systems but also addresses some of their limitations. Furthermore, we show how this approach can also be used as the starting point to combine expert knowledge with knowledge extracted from other data sources, such as electronic health records.

研究动机与目标

• 解决传统专家系统在医学诊断中可扩展性差和维护成本高的局限性。
• 克服将先验医学知识融入纯数据驱动机器学习模型的挑战。
• 开发一种方法，在保持专家系统可靠性的同时，通过机器学习提升其适应性。
• 实现真实世界EHR数据与专家生成的合成数据的集成，以改善诊断建模。
• 证明在专家模拟数据与真实EHR数据联合训练的混合模型，优于独立的专家系统和纯机器学习模型。

提出的方法

• 使用现有专家系统（Sim-250）作为生成模型，模拟包含症状、体征和诊断的患者病例。
• 从MIMIC-III EHR数据中生成包含250种疾病和7种新疾病的合成数据集，确保发现与疾病之间的一致映射。
• 从零开始在专家模拟病例与MIMIC-III真实EHR病例的联合数据集上训练深度神经网络（DNN）。
• 在合成数据集和真实世界测试集上验证模型性能，包括在MIMIC-III病例上的疾病特异性评估。
• 通过在子集疾病（如早产和硬膜下血肿）上重新训练，开展消融研究，以评估对数据噪声的鲁棒性。
• 使用top-1和top-3准确率作为评估指标，比较不同训练与测试配置下的性能表现。

实验结果

研究问题

• RQ1 专家系统能否被有效重用于作为生成模型，以训练机器学习诊断模型？
• RQ2 将合成专家生成数据与真实EHR数据结合，是否能提升诊断模型的准确性和鲁棒性？
• RQ3 该混合模型能否泛化到原始专家系统中未包含的新疾病？
• RQ4 当在噪声数据或表型异质性较强的EHR数据上训练时，模型性能如何变化？
• RQ5 该混合方法在多大程度上能保持专家系统的可靠性，同时实现可扩展性和可扩展性？

主要发现

• 在专家模拟数据与MIMIC-III EHR数据联合训练后，模型在MIMIC-III测试集上对7种新疾病的top-1准确率达到0.63，显著优于基线专家系统。
• 在对早产和硬膜下血肿两种特定疾病重新训练并提升数据一致性后，模型在MIMIC-III测试集上对这些疾病的top-1准确率达到0.99。
• 原始7种疾病测试集上的性能下降，归因于MIMIC-III数据集中发现与诊断之间存在噪声映射，经针对性重新训练得到验证。
• 该混合模型对数据噪声表现出强韧性，并在疾病表型特征与EHR数据匹配度提高时展现出更好的泛化能力。
• 该方法成功保留了原始专家系统的特性，同时实现了对新疾病的扩展和与现实世界数据源的集成。
• 模型在合成数据集和真实世界测试集上均保持高准确率，表明其具备强大的泛化能力和鲁棒性。