[论文解读] Extractive Summarization of EHR Discharge Notes

Emily Alsentzer, Anne Kim|arXiv (Cornell University)|Oct 26, 2018

Topic Modeling参考文献 17被引用 20

一句话总结

本文提出了一种基于LSTM的序列标注模型，用于电子病历出院记录中病史主诉（HPI）部分的抽取式摘要生成。在测试集上，该模型取得了0.886的F1分数，表现出色，展示了针对特定主题构建评估数据集的潜力，有助于推动临床环境中自动化出院摘要生成的发展。

ABSTRACT

Patient summarization is essential for clinicians to provide coordinated care and practice effective communication. Automated summarization has the potential to save time, standardize notes, aid clinical decision making, and reduce medical errors. Here we provide an upper bound on extractive summarization of discharge notes and develop an LSTM model to sequentially label topics of history of present illness notes. We achieve an F1 score of 0.876, which indicates that this model can be employed to create a dataset for evaluation of extractive summarization methods.

研究动机与目标

• 通过测量出院记录中可从患者其他电子病历部分找到的信息量，建立电子病历出院记录抽取式摘要的上限。
• 开发一种神经网络模型，将HPI病历中的词语联合分类为10个语义类别（如症状/体征、诊断史、患者活动等）。
• 从MIMIC-III数据库中的55,177份出院记录中生成一个高质量、主题标注的数据集，用于评估未来的抽取式摘要方法。
• 通过整合概念唯一标识符（CUI）与学习到的词嵌入，并探索不同的嵌入架构，提升模型性能。
• 评估标注者间的一致性，并识别标注不一致之处，以指导临床NLP领域未来标注标准的制定。

提出的方法

• 作者使用了MIMIC-III数据库，其中包含55,177份去标识化的出院记录及ICU患者的关联临床记录。
• 应用正则表达式将出院记录分割为结构化部分，重点针对病史主诉（HPI）部分进行标注。
• 训练了一个双向LSTM模型，使用词级别标记嵌入，以预测每个词的10个语义标签之一，包括“症状/体征”、“诊断史”、“患者活动”和“药物”等。
• 模型使用学习到的嵌入和预训练词嵌入（如word2vec）进行训练，同时对比是否加入字符级别嵌入，以及是否整合CUI（概念唯一标识符）。
• 为提高鲁棒性，模型在多种架构下进行评估，包括是否包含字符嵌入以及不同类型的嵌入。
• 通过后处理处理具有多个标签的短语，并在保留的测试集上使用精确率、召回率和F1分数评估模型性能。

实验结果

研究问题

• RQ1 出院记录中有多大比例的信息可从电子病历其他部分提取，从而为抽取式摘要设定上限？
• RQ2 使用LSTM和词嵌入的序列标注模型能否有效将HPI病历中的临床文本分类为有意义的语义类别？
• RQ3 在临床文本分类中，医学概念嵌入（CUI）和字符级表示的引入如何影响模型性能？
• RQ4 临床文本标注中主要的标注不一致来源是什么，它们如何影响模型性能？
• RQ5 该模型在多大程度上可用于生成大规模、主题标注的数据集，以评估抽取式摘要方法？

主要发现

• 使用学习到的词嵌入时，模型取得了0.886的F1分数，其中在“药物/治疗”类别（F1=0.90）和“患者活动”类别（F1=0.93）表现最佳。
• “生命体征/检验”类别的F1最低（0.40），主要由于召回率低（0.26），表明识别此类条目存在困难。
• “药物史”类别的召回率较低（0.56），表明药物相关内容在训练数据中代表性不足或标注不一致。
• 使用学习到的词嵌入的模型在所有架构中表现最佳，包括使用预训练嵌入或字符级特征的模型，F1分数最高。
• 混淆矩阵显示，“诊断史”与“症状/体征”类别之间频繁发生误分类，可能由于临床描述存在重叠。
• 研究发现，标注者之间在复杂句子（含多个分句）上的手动标注不一致是主要错误来源，凸显了制定标准化标注协议的必要性。