[论文解读] MASK: A flexible framework to facilitate de-identification of clinical texts

Nikola Milošević, Gangamma Kalappa+3 more|arXiv (Cornell University)|May 24, 2020

Topic Modeling参考文献 12被引用 4

一句话总结

MASK 是一个灵活的开源 Python 框架，通过结合可自定义的命名实体识别（NER）和掩蔽策略，用于去标识化临床文本。它支持最先进的模型，如带有 ELMo 的 BiLSTM 和基于 CRF 的方法，在 i2b2 2014 数据集上，姓名实体的 F1 分数最高达 0.98，整体 F1 分数达 0.97，显著加速并提升了研究用途下的去标识化效果。

ABSTRACT

Medical health records and clinical summaries contain a vast amount of important information in textual form that can help advancing research on treatments, drugs and public health. However, the majority of these information is not shared because they contain private information about patients, their families, or medical staff treating them. Regulations such as HIPPA in the US, PHIPPA in Canada and GDPR regulate the protection, processing and distribution of this information. In case this information is de-identified and personal information are replaced or redacted, they could be distributed to the research community. In this paper, we present MASK, a software package that is designed to perform the de-identification task. The software is able to perform named entity recognition using some of the state-of-the-art techniques and then mask or redact recognized entities. The user is able to select named entity recognition algorithm (currently implemented are two versions of CRF-based techniques and BiLSTM-based neural network with pre-trained GLoVe and ELMo embedding) and masking algorithm (e.g. shift dates, replace names/locations, totally redact entity).

研究动机与目标

• 为解决在保留研究实用性的前提下对临床文本进行去标识化的挑战。
• 提供一个模块化、可扩展的框架，支持多种 NER 和掩蔽算法。
• 降低手动去标识化成本与时间，其成本可能超过 500,000 美元/50,000 条记录。
• 使研究人员能够根据实体类型选择最优的 NER 和掩蔽方法，提升准确率与隐私合规性。
• 支持作为库或工具集成到更大规模的研究系统中，并具备扩展新模型和数据格式的能力。

提出的方法

• MASK 使用基于插件的架构，支持可互换的命名实体识别（NER）和掩蔽算法。
• 它支持两种基于 CRF 的 NER 模型，使用词汇和词典特征；以及两种基于 BiLSTM 的模型，分别使用预训练的 ELMo 和 GLoVe 嵌入。
• NER 模型在临床文本数据集上进行训练或微调，包括 i2b2 2014 和 ICES premise 数据。
• 掩蔽策略包括实体替换、日期偏移和完全删除，可按实体类型进行配置。
• 通过可自定义的读取器插件，支持多种输入格式，适用于训练和推理。
• 通过先使用 NER 检测 PHI/PII，再应用用户选择的掩蔽技术，实现端到端的去标识化。

实验结果

研究问题

• RQ1 与单体工具相比，模块化框架是否能提升临床文本去标识化的准确率与效率？
• RQ2 基于 CRF 和深度学习的 NER 模型在临床去标识化任务中的表现如何？
• RQ3 在临床环境中，不同 NER 模型在速度、准确率和泛化能力之间的权衡如何？
• RQ4 微调预训练嵌入是否能提升低资源临床实体类型的表现？
• RQ5 灵活的、基于插件的架构在多大程度上能支持多样化的研究与临床使用场景？

主要发现

• 带有残差连接和 ELMo 嵌入的 BiLSTM 模型在 i2b2 2014 测试集上取得了 0.97 的最高整体 F1 分数。
• NAME 实体类别的 F1 分数达到 0.98，表明在人名识别方面表现优异。
• 使用词汇和词典特征的 CRF 模型优于许多先前系统，且显著快于深度学习模型。
• 使用 GLoVe 嵌入的 BiLSTM 模型表现欠佳，可能是因为使用了非临床领域预训练的嵌入。
• 基于 ELMo 的模型在不同领域间泛化良好，且仅需少量微调数据集即可适应新领域。
• 在 CPU 上，训练 ELMo 模型每轮约需 1 小时，推理每条病历最多耗时 10 秒；而 CRF 模型每条病历处理时间低于 0.5 秒。