[论文解读] GERNERMED++: Transfer Learning in German Medical NLP

Johann Frei, Ludwig Frei‐Stuber+1 more|arXiv (Cornell University)|Jun 29, 2022

Topic Modeling被引用 5

一句话总结

该论文提出 GERNERMED++：一种鲁棒的、公开可用的德语医学 NLP 模型，用于命名实体识别（NER），其利用预训练德语 BERT 模型（GottBERT 和 GermanBERT）进行迁移学习，通过神经机器翻译（NMT）将公开的英文医学数据集中的文本生成德语文本，并利用词对齐技术将英文标注投影到德语。该模型在多个外部数据集上显著优于先前的开源模型（如 GERNERMED 和 GGPONC），在未使用专有或人工标注德语数据的情况下实现了最先进性能。

ABSTRACT

We present a statistical model for German medical natural language processing trained for named entity recognition (NER) as an open, publicly available model. The work serves as a refined successor to our first GERNERMED model which is substantially outperformed by our work. We demonstrate the effectiveness of combining multiple techniques in order to achieve strong results in entity recognition performance by the means of transfer-learning on pretrained deep language models (LM), word-alignment and neural machine translation. Due to the sparse situation on open, public medical entity recognition models for German texts, this work offers benefits to the German research community on medical NLP as a baseline model. Since our model is based on public English data, its weights are provided without legal restrictions on usage and distribution. The sample code and the statistical model is available at: https://github.com/frankkramer-lab/GERNERMED-pp

研究动机与目标

• 为命名实体识别解决公开可用、高质量德语医学 NLP 资源稀缺的问题。
• 通过利用公开的英文医学数据集，克服德语医学文本标注有限的挑战。
• 仅使用公开、非专有的数据，开发一种鲁棒的、基于迁移学习的德语医学文本 NER 模型，以确保法律和隐私合规。
• 在分布外（out-of-distribution）和外部数据集上，超越现有开源德语医学 NER 模型（包括 GERNERMED 和 GGPONC）。
• 为德语医学 NLP 社区提供一个可复现的、开源的基线模型，享有无限制的使用权利。

提出的方法

• 以 2018 年 n2c2 共享任务数据集的英文版本作为医学实体标注的主要来源。
• 应用神经机器翻译（NMT）将英文医学文本翻译为德语，生成合成的德语医学语料库。
• 采用词对齐技术，将英文源文本的词级别标注投影到对应的德语翻译中，无需人工标注。
• 在 NMT 生成并完成标注投影的德语数据集上，对预训练的德语 BERT 模型（GottBERT 和 GermanBERT）进行微调，用于下游 NER 任务。
• 使用相同的资料处理流程，训练一个轻量级 SpaCy 基础模型作为对比基线。
• 在测试集、分布外（OoD）数据以及多个公开的外部数据集上评估模型性能，以评估其鲁棒性和可迁移性。

实验结果

研究问题

• RQ1 能否仅使用公开的、非专有的英文医学数据集和翻译技术，有效训练德语医学 NER 模型？
• RQ2 在通过 NMT 和标注投影生成的合成德语文本上微调时，基于预训练德语 BERT 模型的迁移学习在多大程度上提升了 NER 性能？
• RQ3 GERNMED++ 在分布外和外部数据集上，与现有开源德语医学 NER 模型（如 GERNERMED 和 GGPONC）相比，性能提升程度如何？
• RQ4 使用迁移学习和合成数据是否能缓解缺乏人工标注德语医学语料的问题，同时保持模型的鲁棒性？
• RQ5 在无法访问内部或私有医学数据的情况下，模型是否能实现具有竞争力的性能，并可合法地与研究社区共享？

主要发现

• 使用 GottBERT 编码器的 GERNERMED++ 在 Medline 数据集上达到 F1 得分为 0.772，显著优于基线模型 GERNERMED（F1：0.300）和 GGPONC 参考模型（F1：0.628）。
• 在 BRONCO 数据集上，基于 GottBERT 的模型达到 F1 得分为 0.739，超过 GGPONC 模型（F1：0.384）和基于 GermanBERT 的模型（F1：0.680）。
• 使用 GottBERT 的 GERNERMED++ 在 n2c2 数据集上达到 F1 得分为 0.766，优于 GGPONC 模型（F1：0.628）和原始 GERNERMED 模型（F1：0.300）。
• 该模型在分布外（OoD）数据上表现出强大的泛化能力，表明来自预训练语言模型的迁移学习效果显著。
• 在多个数据集上性能提升保持一致，表明 NMT、标注投影与迁移学习的结合能够产生稳健且可复现的结果。
• 尽管仅使用公开的英文数据且未使用任何专有数据，该模型的性能仍可与基于人工整理德语数据集训练的模型比肩甚至超越。