[论文解读] A Deep Learning Architecture for De-identification of Patient Notes: Implementation and Evaluation

Kaung Khin, Philipp Burckhardt+1 more|arXiv (Cornell University)|Oct 3, 2018

Topic Modeling参考文献 17被引用 30

一句话总结

本文提出了一种结合双向LSTM与变分dropout及ELMo上下文词嵌入的深度学习架构，用于临床病历的自动去标识化。该方法在两个基准数据集（i2b2和护理记录）上实现了最先进性能，且无需依赖词典或基于规则的方法，在护理记录数据集上的表现显著优于现有系统（如deidentify），同时保持了快速收敛速度。

ABSTRACT

De-identification is the process of removing 18 protected health information (PHI) from clinical notes in order for the text to be considered not individually identifiable. Recent advances in natural language processing (NLP) has allowed for the use of deep learning techniques for the task of de-identification. In this paper, we present a deep learning architecture that builds on the latest NLP advances by incorporating deep contextualized word embeddings and variational drop out Bi-LSTMs. We test this architecture on two gold standard datasets and show that the architecture achieves state-of-the-art performance on both data sets while also converging faster than other systems without the use of dictionaries or other knowledge sources.

研究动机与目标

• 开发一种端到端的深度学习架构，用于临床病历中受保护健康信息（PHI）的去标识化。
• 通过利用ELMo等上下文词嵌入，提升语义和句法上下文的捕捉能力，从而改善去标识化性能，相较于静态嵌入更具优势。
• 消除对传统系统中常用的外部词典或基于规则组件（如词典）的依赖。
• 在标准黄金标准数据集上评估模型性能，并与现有最先进系统进行比较。
• 分析模型的局限性及错误模式，特别是对专业术语（Profession）和ID等具有挑战性的PHI类型。

提出的方法

• 该架构采用双向LSTM网络结合变分dropout，以正则化模型并防止过拟合。
• 整合多种嵌入类型：ELMo上下文嵌入、GloVe词嵌入，以及用于OOV（词汇表外）词的字符级LSTM嵌入。
• 在LSTM层之上使用条件随机场（CRF）以建模标签依赖关系，提升序列标注的准确性。
• 采用交叉熵损失进行端到端训练，并使用Adam优化器配合早停策略。
• 引入外部特征（如词性标注，POS）以增强输入表示，而无需依赖基于规则的词典。
• 通过系统性地移除组件（如字符嵌入、ELMo、变分dropout）进行消融研究，以评估其对性能的贡献。

实验结果

研究问题

• RQ1 是否能够通过使用ELMo等上下文词嵌入的深度学习架构，在不依赖词典或基于规则特征的情况下，实现去标识化的最先进性能？
• RQ2 字符级嵌入与CRF层的整合如何提升模型在临床文本中检测PHI的能力？
• RQ3 ELMo嵌入与静态嵌入（如GloVe）相比，在捕捉姓名、日期和病历号等PHI类型方面，其相对贡献如何？
• RQ4 为何某些PHI类型（如专业术语和ID）尽管整体性能优异，仍具挑战性？
• RQ5 该模型在不同临床文本格式（如从i2b2到护理记录）之间的可迁移性如何？

主要发现

• 该模型在2014年i2b2去标识化数据集和护理记录语料库上均实现了最先进F1分数，且在后者上优于deidentify系统。
• 在i2b2数据集上，整体PHI分类的F1得分为0.908，尤其在日期（F1 > 0.915）和电话号码（F1 > 0.85）类别上表现尤为出色。
• 使用ELMo嵌入相比GloVe嵌入带来了显著的性能提升，尤其在医学专用术语及专业术语、ID等PHI类型上。
• 消融研究显示，移除ELMo嵌入导致性能下降最大，其次是移除变分dropout，表明二者在正则化与上下文建模中起着关键作用。
• 当从i2b2模型微调至护理记录数据集时，模型性能显著下降，归因于结构与格式差异，凸显其在跨领域迁移能力上的局限性。
• 错误分析表明，分词问题以及数字格式相似性（如'265-01-73'被误分类为电话号码）是导致误分类的主要原因，提示简单正则表达式规则或可进一步提升性能。