[论文解读] Comprehensive Study on German Language Models for Clinical and Biomedical Text Understanding

Ahmad Idrissi-Yaghir, Amin Dada+18 more|arXiv (Cornell University)|Apr 8, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本论文介绍了通过在24亿个token的英文医学文本翻译数据和30亿个token的德语临床数据上进行连续预训练，微调得到的德语生物医学与临床语言模型，并对其进行了评估。结果表明，基于翻译的模型在临床数据上的表现与从零开始训练的模型相当或更优，证明通过翻译进行领域适应以及结合临床数据预训练能显著提升德语医学NLP任务的性能。

ABSTRACT

Recent advances in natural language processing (NLP) can be largely attributed to the advent of pre-trained language models such as BERT and RoBERTa. While these models demonstrate remarkable performance on general datasets, they can struggle in specialized domains such as medicine, where unique domain-specific terminologies, domain-specific abbreviations, and varying document structures are common. This paper explores strategies for adapting these models to domain-specific requirements, primarily through continuous pre-training on domain-specific data. We pre-trained several German medical language models on 2.4B tokens derived from translated public English medical data and 3B tokens of German clinical data. The resulting models were evaluated on various German downstream tasks, including named entity recognition (NER), multi-label classification, and extractive question answering. Our results suggest that models augmented by clinical and translation-based pre-training typically outperform general domain models in medical contexts. We conclude that continuous pre-training has demonstrated the ability to match or even exceed the performance of clinical models trained from scratch. Furthermore, pre-training on clinical data or leveraging translated texts have proven to be reliable methods for domain adaptation in medical NLP tasks.

研究动机与目标

• 通过开发特定领域的语言模型，解决高质量德语医学NLP资源匮乏的问题。
• 探究在翻译或临床德语数据上进行连续预训练是否能提升下游医学NLP任务的性能。
• 比较基于翻译的预训练与私有临床数据在训练德语医学语言模型方面的有效性。
• 在多个临床与生物医学NLP任务上评估新开发的德语语言模型的性能。
• 评估在训练德语医学语言模型时，数据隐私、模型性能与可访问性之间的权衡。

提出的方法

• 在24亿个token的英文PubMed摘要翻译成德语的数据上，连续预训练多个基于BERT的德语模型。
• 在来自德国大型医院的30亿个token的匿名化、去标识化德语临床记录上，连续预训练额外的模型。
• 在五个下游任务上微调所得模型：命名实体识别（NER）、多标签分类、抽取式问答，以及两个临床基准任务（RadQA和MedNLI）。
• 将基于翻译的模型与基于临床数据的模型，与通用领域（如GBERT）、生物医学及临床德语模型进行性能比较。
• 在所有任务中使用标准NLP评估指标，如F1、准确率和精确匹配。
• 通过不共享基于专有临床数据训练的模型来确保数据隐私；仅公开发布了基于翻译的模型。

实验结果

研究问题

• RQ1 在翻译的生物医学文本上进行连续预训练，能否有效将通用德语语言模型适配到临床领域？
• RQ2 在德语医学NLP任务中，基于翻译数据预训练的模型性能与基于私有临床数据预训练的模型相比如何？
• RQ3 基于翻译的预训练在在多大程度上能减少对敏感临床数据的依赖，同时保持高性能？
• RQ4 在哪些下游任务中，临床特定预训练相较于基于翻译的预训练能提供可测量的优势？
• RQ5 在公共翻译数据上训练的模型能否实现与在大规模私有临床数据集上训练的模型相当的性能？

主要发现

• 在600万篇翻译的PubMed摘要上进行预训练的翻译模型，在大多数下游任务上的表现与大规模临床模型相当。
• 在临床特定任务（如RadQA）中，基于私有临床数据训练的模型优于基于翻译的模型，表明领域特定数据具有重要价值。
• 在五个评估的下游任务中，基于临床数据预训练的模型始终优于通用领域德语模型（如GBERT），尤其在复杂的临床推理任务中表现更优。
• 基于翻译和临床数据的模型之间的性能差距在抽取式问答和NER任务中最小，表明翻译数据能有效捕捉关键医学术语。
• 尽管仅使用了600万篇翻译摘要，基于翻译的模型在多个任务中仍达到或超过从零开始训练的模型性能，证明了迁移学习的高效性。
• 本研究证实，在临床数据或高质量翻译的生物医学文本上进行连续预训练，是德语医学NLP领域适应的可靠且有效策略。