[论文解读] Interpretation of machine learning predictions for patient outcomes in electronic health records

William La Cava, Christopher R. Bauer+2 more|PubMed|Mar 14, 2019

Machine Learning in Healthcare参考文献 22被引用 34

一句话总结

本文比较三种最先进的机器学习方法从电子病历（EHR）预测七种患者诊断，并评估各种特征重要性度量，发现当预测结果强时，置换重要性与临床解释最一致。

ABSTRACT

Electronic health records are an increasingly important resource for understanding the interactions between patient health, environment, and clinical decisions. In this paper we report an empirical study of predictive modeling of seven patient outcomes using three state-of-the-art machine learning methods. Our primary goal is to validate the models by interpreting the importance of predictors in the final models. Central to interpretation is the use of feature importance scores, which vary depending on the underlying methodology. In order to assess feature importance, we compared univariate statistical tests, information-theoretic measures, permutation testing, and normalized coefficients from multivariate logistic regression models. In general we found poor correlation between methods in their assessment of feature importance, even when their performance is comparable and relatively good. However, permutation tests applied to random forest and gradient boosting models showed the most agreement, and the importance scores matched the clinical interpretation most frequently.

研究动机与目标

• 使用EHR数据评估三种ML方法（LR、RF、XGBoost）在多项患者结局上的预测性能。
• 比较模型特定和模型无关的特征重要性度量以解释预测因素。
• 评估七种疾病及不同预测时窗下重要性分数的相关性及可解释性。

提出的方法

• 使用Geisinger Health Records数据集，包含1996-2015年899,128名患者及常见和罕见的实验室指标与人口统计变量作为预测因子。
• 以诊断前一天、六个月和一年的时窗预测三项结果。
• 训练惩罚逻辑回归、随机森林和XGBoost；用10折交叉验证调参；通过AUROC进行评估。
• 在测试数据上计算内部特征重要性（系数、Gini等）和置换重要性。
• 评估重要性度量之间在七种疾病上的相关性和可解释性。
• 提供可重复性代码，位于 http://github.com/EpistasisLab/interpret_ehr。

实验结果

研究问题

• RQ1 三种ML方法（LR、RF、XGBoost）在不同预测时窗下从EHR数据预测七种患者诊断的表现如何？
• RQ2 模型特定和模型无关的特征重要性度量在识别临床意义显著的预测因素方面有何比较？
• RQ3 重要性度量在模型和疾病之间的一致性有多大，哪种度量最符合临床理解？

主要发现

• XGBoost通常实现最佳预测性能，其次是随机森林；惩罚逻辑回归在阿尔茨海默病和食管反流等疾病上的表现较弱。
• RF和XGBoost的置换重要性分数与临床解释高度一致，并在模型之间高度相关（RF置换 vs XGBoost置换）。
• XGBoost的Gini重要性与预期的关键预测变量关联不强，而置换重要性带来更直观的结果。
• 在各疾病中，RF置换和XGBoost置换分数高度相关（皮尔逊相关R^2=0.95）。
• 单变量重要性与其他度量相关性最低，表明单独使用它不足以确定重要因素。
• 一年时窗显示多种疾病的高AUROC（如糖尿病伴肾脏表现0.96）；预测能力通常随时窗增大而下降。