[论文解读] Convolutional Neural Networks for Medical Diagnosis from Admission Notes

Christy Y. Li, Dimitris Konomis+4 more|arXiv (Cornell University)|Dec 6, 2017

Machine Learning in Healthcare参考文献 6被引用 15

一句话总结

本文提出一种卷积神经网络（CNN）模型，仅使用电子健康记录（EHR）中非结构化的入院记录文本，自动预测主要出院诊断。该模型在MIMIC-III数据集上进行训练，在10种常见疾病类别上实现了96.11%的准确率和80.48%的加权F1分数，相较于基线模型在F1分数上至少高出12.7个百分点，表明其在处理嘈杂、非结构化的临床文本方面表现出色。

ABSTRACT

$ extbf{Objective}$ Develop an automatic diagnostic system which only uses textual admission information from Electronic Health Records (EHRs) and assist clinicians with a timely and statistically proved decision tool. The hope is that the tool can be used to reduce mis-diagnosis. $ extbf{Materials and Methods}$ We use the real-world clinical notes from MIMIC-III, a freely available dataset consisting of clinical data of more than forty thousand patients who stayed in intensive care units of the Beth Israel Deaconess Medical Center between 2001 and 2012. We proposed a Convolutional Neural Network model to learn semantic features from unstructured textual input and automatically predict primary discharge diagnosis. $ extbf{Results}$ The proposed model achieved an overall 96.11% accuracy and 80.48% weighted F1 score values on 10 most frequent disease classes, significantly outperforming four strong baseline models by at least 12.7% in weighted F1 score. $ extbf{Discussion}$ Experimental results imply that the CNN model is suitable for supporting diagnosis decision making in the presence of complex, noisy and unstructured clinical data while at the same time using fewer layers and parameters that other traditional Deep Network models. $ extbf{Conclusion}$ Our model demonstrated capability of representing complex medical meaningful features from unstructured clinical notes and prediction power for commonly misdiagnosed frequent diseases. It can use easily adopted in clinical setting to provide timely and statistically proved decision support. $ extbf{Keywords}$ Convolutional neural network, text classification, discharge diagnosis prediction, admission information from EHRs.

研究动机与目标

• 开发一种全自动、数据驱动的诊断系统，仅使用EHR中的文本入院记录，以支持及时准确的临床决策制定。
• 通过在非结构化临床文本上应用深度学习，解决症状重叠疾病中诊断错误率高的问题。
• 通过学习临床记录中复杂、非线性的模式，而不依赖人工构建的医学规则，减少误诊。
• 通过仅使用入院时间的数据并最小化计算开销，实现与临床工作流程的集成。
• 证明CNN能够有效从嘈杂、格式多变的临床记录中提取具有医学意义的特征。

提出的方法

• 训练一维卷积神经网络（CNN）以从非结构化的临床记录中分类出院诊断，将该任务视为多分类文本分类问题。
• 在MIMIC-III数据集上预训练词嵌入，并用于初始化CNN的嵌入层，以提升特征学习能力和模型性能。
• 应用共指消解技术，将疾病名称的提及（如缩写、同义词）归一化，以提高文本表示的一致性。
• 模型使用多种不同滤波器大小（如3-gram、4-gram、5-gram）的卷积核，检测局部模式，如症状、检验结果和疾病名称。
• 未来工作将考虑使用加权损失函数以解决类别不平衡问题，特别是针对罕见疾病。
• 模型端到端训练，无需对各个组件进行手动超参数调优，从而提升实际部署的可行性。

实验结果

研究问题

• RQ1 CNN模型能否有效从非结构化、嘈杂的临床记录中学习语义表示，以预测主要出院诊断？
• RQ2 与传统机器学习模型（如SVM、随机森林、逻辑回归）相比，基于CNN的方法在从EHR入院记录中诊断常见疾病方面表现如何？
• RQ3 卷积核在多大程度上能够学习到如症状、疾病和异常发现等临床相关模式？
• RQ4 该模型在仅作最小架构修改的情况下，能否泛化到罕见疾病，或支持多标签或分层疾病预测？
• RQ5 与随机初始化相比，在临床语料上预训练词嵌入是否能提升诊断性能？

主要发现

• 所提出的CNN模型在MIMIC-III数据集中10种最常见疾病类别上实现了96.11%的准确率和80.48%的加权F1分数。
• 该CNN模型在加权F1分数上比四种强基线模型（SVM、随机森林、MLP和逻辑回归）至少高出12.7个百分点。
• 模型在10种疾病中的9种上表现更优，表明其在常见且易误诊疾病上具有强大的泛化能力。
• 激活分析显示，单个卷积核能够检测到特定医学短语，如“主动脉瓣狭窄”或“高脂血症”，证实模型学习到了临床相关模式。
• 模型成功识别出非结构化文本中的复杂非线性模式，包括描述症状的多词短语，如“胸骨后胸痛”或“ST段抬高性胸痛改善”。
• 使用预训练词嵌入显著提升了性能，凸显了在临床NLP中上下文表示学习的重要性。