[论文解读] Comparing Rule-Based and Deep Learning Models for Patient Phenotyping

Sebastian Gehrmann, Franck Dernoncourt+9 more|arXiv (Cornell University)|Mar 25, 2017

Machine Learning in Healthcare参考文献 54被引用 19

一句话总结

本研究评估了深度学习模型，特别是卷积神经网络（CNNs），在使用临床记录进行患者表型识别中的表现，对比了基于规则和n-gram的方法。CNN模型在10项表型识别任务中均优于所有基线模型，平均F1得分为76（PPV：83，灵敏度：71），相较于其他方法最高提升达37个百分点，同时实现了基于显著性的短语提取，增强了临床洞察力。

ABSTRACT

Objective: We investigate whether deep learning techniques for natural language processing (NLP) can be used efficiently for patient phenotyping. Patient phenotyping is a classification task for determining whether a patient has a medical condition, and is a crucial part of secondary analysis of healthcare data. We assess the performance of deep learning algorithms and compare them with classical NLP approaches. Materials and Methods: We compare convolutional neural networks (CNNs), n-gram models, and approaches based on cTAKES that extract pre-defined medical concepts from clinical notes and use them to predict patient phenotypes. The performance is tested on 10 different phenotyping tasks using 1,610 discharge summaries extracted from the MIMIC-III database. Results: CNNs outperform other phenotyping algorithms in all 10 tasks. The average F1-score of our model is 76 (PPV of 83, and sensitivity of 71) with our model having an F1-score up to 37 points higher than alternative approaches. We additionally assess the interpretability of our model by presenting a method that extracts the most salient phrases for a particular prediction. Conclusion: We show that NLP methods based on deep learning improve the performance of patient phenotyping. Our CNN-based algorithm automatically learns the phrases associated with each patient phenotype. As such, it reduces the annotation complexity for clinical domain experts, who are normally required to develop task-specific annotation rules and identify relevant phrases. Our method performs well in terms of both performance and interpretability, which indicates that deep learning is an effective approach to patient phenotyping based on clinicians' notes.

研究动机与目标

• 评估自然语言处理中的深度学习技术是否能提升患者表型识别的准确性，相较于传统的基于规则和n-gram的模型。
• 评估CNN、n-gram以及基于cTAKES的方法在MIMIC-III数据库真实临床记录上的表现。
• 通过识别与预测相关的显著短语，研究深度学习模型在表型识别中的可解释性。
• 通过自动化识别相关临床短语，减少对临床专家手动标注的依赖。
• 确定端到端的深度学习模型是否能与手工构建的临床规则相当或超越其性能。

提出的方法

• 在原始临床记录上端到端训练卷积神经网络（CNN），无需特征工程即可对患者表型进行分类。
• 模型使用词嵌入表示临床文本，并应用多种滤波器大小以捕捉局部n-gram模式。
• 性能与基于n-gram的模型以及cTAKES系统进行对比，后者在分类前提取预定义的医学概念。
• 通过显著性方法增强可解释性，突出显示每个预测中对输入文本影响最大的短语。
• 所有模型均在MIMIC-III数据库的1,610份出院记录上，针对10项不同的表型识别任务进行评估。
• 评估指标包括F1得分、阳性预测值（PPV）和灵敏度，以评估分类性能。

实验结果

研究问题

• RQ1 深度学习模型（如CNN）是否能在患者表型识别任务中优于基于规则和n-gram的模型？
• RQ2 基于CNN的方法在F1得分、PPV和灵敏度方面与基于cTAKES的系统相比表现如何？
• RQ3 深度学习模型在无需手工创建规则的情况下，能在多大程度上自动学习临床相关的短语？
• RQ4 能否通过基于显著性的短语提取方法增强深度学习模型的可解释性，以支持临床验证？
• RQ5 从原始文本端到端学习是否能带来优于使用预定义医学概念进行特征工程的表型识别性能？

主要发现

• 基于CNN的模型在全部10项表型识别任务中平均F1得分为76，显著优于所有基线模型。
• CNN模型的F1得分相较于其他方法最高提升达37个百分点，显示出显著的性能提升。
• 模型的阳性预测值（PPV）为83，灵敏度为71，表明其具有较强的精确率和召回率。
• CNN模型能够自动学习并突出显示临床相关的短语，减少了对领域专家手工规则标注的依赖。
• 显著性方法成功识别出与每种表型相关的关键短语，增强了模型的可解释性。
• 在所评估的10项表型识别任务中，CNN模型在所有任务中均优于基于n-gram和cTAKES的系统。