[论文解读] Comparing Rule-based, Feature-based and Deep Neural Methods for De-identification of Dutch Medical Records

Jan Trienes, Dolf Trieschnigg+2 more|arXiv (Cornell University)|Jan 16, 2020

Topic Modeling参考文献 31被引用 6

一句话总结

本研究评估了规则方法、基于特征的方法以及深度神经网络方法在三个医疗领域中对荷兰语医疗记录进行去标识化的效果。BiLSTM-CRF 模型在跨领域和跨语言设置下优于规则方法和条件随机场（CRF）方法，展现出强大的泛化能力，且配置需求极少，即使在数据有限的情况下也表现良好；而一个针对荷兰语的特定规则系统则无法在原始领域之外实现泛化。

ABSTRACT

Unstructured information in electronic health records provide an invaluable resource for medical research. To protect the confidentiality of patients and to conform to privacy regulations, de-identification methods automatically remove personally identifying information from these medical records. However, due to the unavailability of labeled data, most existing research is constrained to English medical text and little is known about the generalizability of de-identification methods across languages and domains. In this study, we construct a varied dataset consisting of the medical records of 1260 patients by sampling data from 9 institutes and three domains of Dutch healthcare. We test the generalizability of three de-identification methods across languages and domains. Our experiments show that an existing rule-based method specifically developed for the Dutch language fails to generalize to this new data. Furthermore, a state-of-the-art neural architecture performs strongly across languages and domains, even with limited training data. Compared to feature-based and rule-based methods the neural method requires significantly less configuration effort and domain-knowledge. We make all code and pre-trained de-identification models available to the research community, allowing practitioners to apply them to their datasets and to enable future benchmarks.

研究动机与目标

• 评估去标识化方法在荷兰语医疗保健中跨语言和跨医疗领域的可泛化性。
• 评估现有的荷兰语去标识化规则方法和基于特征的方法是否能泛化到新领域和新数据源。
• 研究最先进的深度神经网络在低资源、跨领域设置下对荷兰语医疗文本的性能表现。
• 提供一个公开可用的数据集和预训练模型，以支持未来在多语言和多领域去标识化方面的基准测试与研究。

提出的方法

• 从三个医疗领域（老年护理、精神卫生护理、残疾护理）的九家机构收集了 1,260 份荷兰语医疗记录，构建了一个新数据集。
• 使用 18 个 HIPAA 定义的类别对受保护的健康信息（PHI）进行标注，包括姓名、日期、地址和电话号码等。
• 评估了三种去标识化方法：一个针对荷兰语精神病记录的规则系统（DEDUCE）、一个基于 CRF 的特征模型，以及一个 BiLSTM-CRF 神经网络模型。
• 采用跨领域迁移学习方法进行训练和测试，即每个模型在某一领域上训练，并在其余两个领域上进行测试。
• 在英文数据集（如 HUGO、i2b2）上进行基准测试，以评估跨语言迁移能力。
• 使用微平均 F1 分数对所有方法和设置下的实体级别性能进行评估。

Figure 2. Entity-level F1-score for varying training set sizes. The full training set (100%) consists of all training and validation sentences in NUT (34,714). The F1-score is measured on the test set. For each subset size, we draw 3 random samples and train/test each model 3 times. The lines show t

实验结果

研究问题

• RQ1 一个专为荷兰语精神病记录设计的规则去标识化系统，能否泛化到其他荷兰语医疗领域？
• RQ2 在不同荷兰语医疗领域中，基于特征的方法与深度神经网络方法在性能和配置工作量方面有何差异？
• RQ3 当在有限数据上进行训练时，预训练的 BiLSTM-CRF 模型在跨语言和跨领域场景下的泛化能力如何？
• RQ4 域内与域外去标识化之间的性能差距有多大？该差距在不同方法之间如何变化？

主要发现

• 专为荷兰语精神病记录设计的规则系统 DEDUCE 在老年护理领域仅获得 0.683 的 F1 分数，在残疾护理领域为 0.565，表明其跨领域泛化能力极差。
• 基于 CRF 的方法表现中等，各领域 F1 分数在 0.414 到 0.719 之间波动，表明其对领域分布变化的鲁棒性有限。
• BiLSTM-CRF 模型在所有领域中均表现最佳，F1 分数分别为 0.775（老年护理）、0.775（残疾护理）和 0.839（精神卫生护理），展现出强大的泛化能力。
• 在跨领域迁移学习中，BiLSTM-CRF 模型在从域内数据转移到域外数据时，性能最高下降 0.221 F1（从 0.919 降至 0.698），表明性能下降仍是需要关注的问题。
• 尽管训练数据有限（每个领域 420 份文档），BiLSTM-CRF 模型仍保持了高性能，表明其对数据量和配置复杂度的需求较低。
• 本研究指出，职业信息及类似短语仍是去标识化中最具挑战性的 PHI 类型之一，提示需要更优的建模策略。