[论文解读] Multi-Label Learning from Medical Plain Text with Convolutional Residual Models

Xinyuan Zhang, Ricardo Henao+3 more|arXiv (Cornell University)|Jan 15, 2018

Text and Document Classification Technologies被引用 19

一句话总结

本文提出一种卷积残差网络，结合CNN编码器用于医学文本表征，以及深层残差分类器以建模多标签诊断预测中标签之间的依赖关系，从临床记录中进行预测。该模型在多个指标上优于基线方法，在EHR数据集上实现了最先进性能，有效捕捉了长篇、嘈杂的医生记录中的语义结构与共病模式。

ABSTRACT

Predicting diagnoses from Electronic Health Records (EHRs) is an important medical application of multi-label learning. We propose a convolutional residual model for multi-label classification from doctor notes in EHR data. A given patient may have multiple diagnoses, and therefore multi-label learning is required. We employ a Convolutional Neural Network (CNN) to encode plain text into a fixed-length sentence embedding vector. Since diagnoses are typically correlated, a deep residual network is employed on top of the CNN encoder, to capture label (diagnosis) dependencies and incorporate information directly from the encoded sentence vector. A real EHR dataset is considered, and we compare the proposed model with several well-known baselines, to predict diagnoses based on doctor notes. Experimental results demonstrate the superiority of the proposed convolutional residual model.

研究动机与目标

• 为解决电子健康记录（EHR）中从非结构化医生记录进行多标签诊断预测的挑战，其中患者通常存在多种共病。
• 通过建模标签依赖关系来提升性能，因为传统方法假设标签独立，无法捕捉共病模式。
• 开发一种深度学习架构，有效编码长篇、嘈杂的临床文本，同时保留语义和句法结构。
• 证明残差网络通过整合句子级表征与学习到的标签相关性，可增强多标签分类性能。
• 在真实世界EHR数据集上验证模型，并与多种强基线方法（包括CNN、Bi-LSTM和树基方法）进行比较。

提出的方法

• 使用卷积神经网络（CNN）将纯文本医生记录编码为固定长度的句子嵌入向量，以捕捉局部语义和词序。
• 在CNN编码器之上堆叠深层残差网络，利用捷径连接实现更深网络的训练，并建模标签依赖关系。
• 残差网络整合编码后的句子向量信息，通过捕捉标签之间的共现模式，实现对多个诊断的联合预测。
• 采用交叉熵损失与Sigmoid激活函数进行端到端训练，实现多标签分类，支持每个诊断的独立预测。
• 使用t-SNE可视化评估学习到的句子嵌入质量，结果显示语义相似的诊断聚成簇。
• 在不同深度的残差层（1至8层）上评估架构，以研究深度对性能和收敛速度的影响。

实验结果

研究问题

• RQ1 基于CNN的句子编码器是否能在捕捉长篇、嘈杂临床记录的语义含义方面优于传统的词袋模型和LSTM表征？
• RQ2 通过深层残差网络引入标签依赖关系，是否能提升多标签诊断预测的准确性，相比独立标签预测？
• RQ3 残差网络的深度如何影响多标签EHR分类中的性能、收敛速度和泛化能力？
• RQ4 所提模型在多大程度上利用了共病模式，特别是那些常共同出现的诊断？
• RQ5 性能提升是源于模型容量的增加，还是残差连接这一架构创新？

主要发现

• 8层卷积残差模型在所有指标上均达到最高性能，在ehr1000验证集上，P@1为60.30%，P@3为31.21%，P@5为21.27%，nDCG@3为80.21%，nDCG@5为80.17%，AUC为94.89%。
• 8层残差模型优于普通8层CNN（P@1仅为8.99%），表明残差连接是性能提升的关键，而不仅仅是网络深度。
• 残差模型收敛速度优于浅层变体，仅需25个周期，而1层残差模型需38个周期。
• 在ehr64-all数据集上，8层残差模型的AUC（0.942）显著高于标准CNN（0.923），64个诊断中有59个的AUC得到提升。
• t-SNE可视化证实，句子嵌入按诊断聚类，语义相似的疾病（如头痛与偏头痛）被分组在一起。
• 对于共病率较高的诊断（如高血糖、低血压、高钾血症、尿路感染和发热），模型表现出最大的性能增益，表明其有效建模了标签依赖关系。