[论文解读] A Predictive Approach Using Deep Feature Learning for Electronic Medical Records: A Comparative Study.

Milad Zafar Nezhad, Dongxiao Zhu+2 more|arXiv (Cornell University)|Jan 6, 2018

Machine Learning in Healthcare参考文献 37被引用 7

一句话总结

本文提出了一种基于深度特征学习与词嵌入的预测建模方法，应用于电子病历（EMRs），利用无监督表示学习从有限标注数据中提取稳健的高层次特征。与基线模型相比，该方法在大规模eICU数据集上对非裔美国人左心室质量指数（LVMI）及ICU住院时长的预测任务中均表现出更优性能。

ABSTRACT

Massive amount of electronic medical records accumulating from patients and populations motivates clinicians and data scientists to collaborate for the advanced analytics to extract knowledge that is essential to address the extensive personalized insights needed for patients, clinicians, providers, scientists, and health policy makers. In this paper, we propose a new predictive approach based on feature representation using deep feature learning and word embedding techniques. Our method uses different deep architectures for feature representation in higher-level abstraction to obtain effective and more robust features from EMRs, and then build prediction models on the top of them. Our approach is particularly useful when the unlabeled data is abundant whereas labeled one is scarce. We investigate the performance of representation learning through a supervised approach. First, we apply our method on a small dataset related to a specific precision medicine problem, which focuses on prediction of left ventricular mass indexed to body surface area (LVMI) as an indicator of heart damage risk in a vulnerable demographic subgroup (African-Americans). Then we use two large datasets from eICU collaborative research database to predict the length of stay in Cardiac-ICU and Neuro-ICU based on high dimensional features. Finally we provide a comparative study and show that our predictive approach leads to better results in comparison with others.

研究动机与目标

• 通过利用大量未标注数据进行特征表示，解决电子病历（EMRs）中标签数据有限的挑战。
• 开发一种稳健的预测建模框架，利用深度表示学习提升临床风险预测任务的性能。
• 探究深度架构与词嵌入在从EMRs中提取高层次抽象特征以支持下游预测任务方面的有效性。
• 在多种临床预测任务（包括精准医学和ICU住院时长）上评估该方法，以证明其泛化能力。
• 提供对比分析，表明所提出方法在低资源标注场景下优于现有方法。

提出的方法

• 采用深度神经网络架构，从原始EMR文本和结构化数据中学习分层的高层次表示。
• 利用词嵌入技术将临床文本转换为捕捉语义意义的稠密向量表示。
• 在大规模未标注EMR数据上应用自监督或对比预训练，以学习有效的特征表示。
• 在有限标注数据上微调学习到的表示，用于下游预测任务。
• 在深度特征表示基础上训练监督预测模型，用于LVMI预测和ICU住院时长等任务。
• 在多个数据集和任务上，将所提方法与传统及深度学习基线模型进行性能比较。

实验结果

研究问题

• RQ1 在标签数据稀缺的情况下，结合词嵌入的深度特征学习是否能提升基于EMR的临床建模预测性能？
• RQ2 从大规模未标注EMR数据中进行表示学习，在增强下游预测任务方面有多有效？
• RQ3 所提出方法是否在预测非裔美国人患者心肌损伤风险的LVMI指标方面优于现有方法？
• RQ4 该方法在预测心内科ICU和神经科ICU住院时长方面，对大规模ICU数据的泛化能力如何？
• RQ5 在多种临床预测任务中，所提方法与基线模型的性能相比如何？

主要发现

• 所提出的深度特征学习方法在预测脆弱人群亚群（非裔美国人）的左心室质量指数（LVMI）方面，优于基线模型。
• 尽管训练数据标注有限，该方法在大规模eICU数据集上仍表现出更强的鲁棒性和泛化能力。
• 从大量未标注EMR数据中进行表示学习显著提升了特征质量，从而实现了更准确的预测。
• 将词嵌入与深度架构结合，比传统特征工程更有效地捕捉了文本和结构化EMR数据中的临床相关模式。
• 对比研究证实，该方法在小规模精准医学任务和大规模ICU预测任务中均持续优于现有方法。
• 结果表明，在未标注EMR数据上进行无监督预训练，是提升低资源标注场景下下游临床预测性能的宝贵策略。