[论文解读] Deep Learning Models to Predict Pediatric Asthma Emergency Department Visits

Xiao Wang, Zhijie Wang+3 more|arXiv (Cornell University)|Jul 25, 2019

Machine Learning in Healthcare参考文献 32被引用 7

一句话总结

本研究评估了深度学习模型，特别是人工神经网络（ANN），与已部署的套索逻辑回归模型在使用Medicaid索赔数据预测未来3个月内儿科哮喘相关急诊科（ED）就诊情况方面的表现。ANN的AUC为0.845，略高于套索模型的0.842，表明深度学习在行政索赔数据上可实现与传统方法相当的预测性能，但可解释性仍是临床部署中的关键挑战。

ABSTRACT

Pediatric asthma is the most prevalent chronic childhood illness, afflicting about 6.2 million children in the United States. However, asthma could be better managed by identifying and avoiding triggers, educating about medications and proper disease management strategies. This research utilizes deep learning methodologies to predict asthma-related emergency department (ED) visit within 3 months using Medicaid claims data. We compare prediction results against traditional statistical classification model - penalized Lasso logistic regression, which we trained and have deployed since 2015. The results have indicated that deep learning model Artificial Neural Networks (ANN) slightly outperforms (with AUC = 0.845) the Lasso logistic regression (with AUC = 0.842). The reason may come from the nonlinear nature of ANN.

研究动机与目标

• 评估深度学习模型是否能相较于现有临床部署的套索逻辑回归模型，提升儿科哮喘相关急诊科（ED）就诊预测的准确性。
• 评估使用Medicaid参保儿童（18岁以下）的行政索赔数据训练人工神经网络（ANN）的性能。
• 通过AUC、F1分数和精确率-召回率曲线下方面积等标准指标比较模型性能。
• 探讨深度学习在识别高风险儿科哮喘患者方面的能力，以支持主动临床干预。
• 评估深度学习模型在真实世界医疗环境中与传统统计模型相比的临床相关性与可解释性。

提出的方法

• 本研究采用德克萨斯州达拉斯市Parkland社区健康计划（PCHP）的Medicaid参保儿科患者回顾性队列数据。
• 特征包括从12个月行政索赔数据中提取的临床、医疗服务利用和社情人口变量。
• 使用两个隐藏层、Leaky ReLU激活函数和Sigmoid输出的神经网络（ANN）进行训练，优化器为Adam，损失函数为二元交叉熵。
• 为防止过拟合，采用Dropout正则化（速率为0.5），并通过网格搜索调整超参数。
• 数据按70%训练集与30%测试集划分，并应用重采样技术以缓解类别不平衡问题。
• 通过ROC AUC、PR AUC、召回率、精确率和F1分数评估模型性能，风险等级划分为：高风险（前10%）、中风险（第10至20百分位数）和低风险（其余部分）。

实验结果

研究问题

• RQ1 深度学习模型（如人工神经网络，ANN）是否能在使用索赔数据预测儿科哮喘相关ED就诊方面，优于传统的套索逻辑回归模型？
• RQ2 在AUC、F1分数以及精确率-召回率权衡方面，ANN与套索逻辑回归模型的预测性能如何比较？
• RQ3 数据不平衡对模型性能有何影响？重采样与Dropout技术如何影响模型泛化能力？
• RQ4 当应用于深度学习模型与线性模型时，临床风险阈值（如前10%风险评分）的有效性在多大程度上仍然成立？
• RQ5 若深度学习模型缺乏可解释性，是否仍能有效集成到临床工作流程中？为实现信任与采纳，还需哪些改进？

主要发现

• ANN模型的AUC为0.845，略高于套索逻辑回归模型的0.842。
• 两模型精确率相近（0.123），但套索模型的召回率更高（0.565 vs. 0.510），表明其在识别真正阳性病例方面表现更优。
• ANN的F1分数略低（0.198 vs. 0.202），表明其在精确率与召回率之间存在权衡。
• PR AUC（精确率-召回率曲线下方面积）略高，ANN为0.174，套索模型为0.170，表明在类别不平衡条件下，ANN对正类的预测性能更优。
• 尽管提升微弱，套索模型在临床应用中仍具相关性且不劣于深度学习模型，且具备更强的可解释性。
• 研究结论认为，尽管深度学习在统计性能上略有优势，但其临床部署仍需提升可解释性与利益相关者信任。