[论文解读] Sensitive Data Detection and Classification in Spanish Clinical Text: Experiments with BERT

Aitor García Pablos, Naiara Pérez+1 more|arXiv (Cornell University)|Mar 6, 2020

Topic Modeling参考文献 26被引用 14

一句话总结

该论文评估了一种基于多语言 BERT 的序列标注模型，用于在无需领域特定特征工程的情况下检测和分类西班牙语临床文本中的敏感信息。该模型在两个西班牙语临床数据集上实现了最先进（SOTA）的性能，优于传统机器学习方法，并在训练数据稀缺的情况下表现出高度鲁棒性，其 F1 分数仅比 MEDDOCAN 共享任务中的获胜系统低 0.3。

ABSTRACT

Massive digital data processing provides a wide range of opportunities and benefits, but at the cost of endangering personal data privacy. Anonymisation consists in removing or replacing sensitive information from data, enabling its exploitation for different purposes while preserving the privacy of individuals. Over the years, a lot of automatic anonymisation systems have been proposed; however, depending on the type of data, the target language or the availability of training documents, the task remains challenging still. The emergence of novel deep-learning models during the last two years has brought large improvements to the state of the art in the field of Natural Language Processing. These advancements have been most noticeably led by BERT, a model proposed by Google in 2018, and the shared language models pre-trained on millions of documents. In this paper, we use a BERT-based sequence labelling model to conduct a series of anonymisation experiments on several clinical datasets in Spanish. We also compare BERT to other algorithms. The experiments show that a simple BERT-based model with general-domain pre-training obtains highly competitive results without any domain specific feature engineering.

研究动机与目标

• 评估预训练多语言 BERT 模型在西班牙语临床文本中敏感数据检测与分类方面的性能。
• 在缺乏领域特定特征工程的前提下，将基于 BERT 的序列标注方法与传统机器学习方法及 spaCy 系统进行比较。
• 评估当训练数据有限时，该模型在低资源场景下的鲁棒性。
• 确定通用领域预训练是否足以在无需语言或领域特定适应的情况下实现临床文本脱敏的高性能。

提出的方法

• 使用 BIO 标注法在标注的西班牙语临床文本上微调多语言 BERT base 模型，用于序列标注任务。
• 采用来自预训练多语言 BERT 模型的迁移学习，未进行额外的语言特定预训练。
• 使用标准 NLP 评估指标（精确率、召回率、F1）将 BERT 模型与 CRF、spaCy 和基于规则的系统进行比较。
• 通过逐步减少训练数据量，开展消融研究以评估模型的鲁棒性。
• 在 NUBES-PHI 和 MEDDOCAN 两个数据集上采用相同的模型架构和训练流程，以确保公平比较。
• 评估在 BERT 模型之上添加 CRF 层的影响，但未观察到相比标准 BERT 微调的显著性能提升。

实验结果

研究问题

• RQ1 通用领域预训练的 BERT 模型是否能在无需领域特定特征工程的情况下，实现西班牙语临床文本脱敏的竞争力表现？
• RQ2 在西班牙语临床文本上，基于 BERT 的序列标注方法在精确率、召回率和 F1 分数方面与传统 CRF 和基于 spaCy 的系统相比如何？
• RQ3 在敏感信息检测任务中，BERT 模型对训练数据减少的鲁棒性如何？
• RQ4 为什么 BERT 模型的召回率高于其他系统，这对隐私保护型数据脱敏有何影响？

主要发现

• 在 NUBES-PHI 数据集上，基于 BERT 的模型取得了最高的 F1 分数，优于 CRF 和 spaCy 基线模型。
• 在 NUBES-PHI 数据集上，BERT 模型的 F1 分数达到 0.89，召回率高达 0.91，显著高于次优系统。
• 当训练数据减少至 230 个样本时，BERT 模型的 F1 分数仅下降 7 个点，表明其在数据稀缺情况下具有极强的鲁棒性。
• 在 MEDDOCAN 数据集上，BERT 模型的 F1 分数达到 0.88，仅比共享任务获胜系统的分数低 0.3，若按此排名将位列第二。
• 尽管使用的是多语言 BERT 模型，该 BERT 系统仍优于 Mao 和 Liu (2019) 报告的 BERT+CRF 模型，表明实现方式或超参数调优的差异可能是性能差距的原因。
• BERT 模型的高召回率表明其在隐私保护型应用中具有高度适用性，因为漏检敏感数据的危害大于对非敏感文本的过度混淆。