[论文解读] MEDBERT.de: A Comprehensive German BERT Model for the Medical Domain

Keno K. Bressem, Jens-Michalis Papaioannou+13 more|arXiv (Cornell University)|Mar 14, 2023

Topic Modeling参考文献 20被引用 7

一句话总结

本论文介绍了 medBERT.de，一个在470万份德语医学文档上预训练的领域特定德语BERT模型，在八个医学基准测试中达到最先进性能。该模型优于通用模型及现有的医学领域模型，性能提升主要源于大规模训练数据，而非先进的分词或数据去重技术。

ABSTRACT

This paper presents medBERTde, a pre-trained German BERT model specifically designed for the German medical domain. The model has been trained on a large corpus of 4.7 Million German medical documents and has been shown to achieve new state-of-the-art performance on eight different medical benchmarks covering a wide range of disciplines and medical document types. In addition to evaluating the overall performance of the model, this paper also conducts a more in-depth analysis of its capabilities. We investigate the impact of data deduplication on the model's performance, as well as the potential benefits of using more efficient tokenization methods. Our results indicate that domain-specific models such as medBERTde are particularly useful for longer texts, and that deduplication of training data does not necessarily lead to improved performance. Furthermore, we found that efficient tokenization plays only a minor role in improving model performance, and attribute most of the improved performance to the large amount of training data. To encourage further research, the pre-trained model weights and new benchmarks based on radiological data are made publicly available for use by the scientific community.

研究动机与目标

• 开发一款高性能、面向德语医学语言领域的专用BERT模型。
• 解决用于预训练NLP模型的大规模高质量德语医学文本语料库稀缺的问题。
• 评估数据去重和分词效率对医学NLP模型性能的影响。
• 通过发布预训练模型和新的放射科基准，推动德语医学NLP的广泛应用。

提出的方法

• 在来自放射科报告和电子健康记录等多种来源的470万份德语医学文档的大型精选语料库上，对德语BERT模型进行预训练。
• 采用标准BERT架构，通过掩码语言建模和下一句预测进行自监督预训练。
• 通过消融研究评估数据去重（针对短篇报告）和分词器“繁殖力”对下游性能的影响。
• 在涵盖放射科、出院记录和ICD/OPS编码任务的八项多样化医学基准上微调模型。
• 与通用领域模型（如GottBERT）及其他医学专用模型（如BioGottBERT）进行性能比较。
• 发布预训练模型权重和新基准，以支持可复现性及进一步研究。

实验结果

研究问题

• RQ1 与通用领域模型相比，在大规模、领域特定的德语医学语料库上进行预训练，是否能显著提升医学NLP基准测试的性能？
• RQ2 在异构临床文本上训练的医学BERT模型中，数据去重有何影响？
• RQ3 分词器的选择——尤其是其“繁殖力”——如何影响长篇临床文本（如出院记录）上的模型性能？
• RQ4 专用领域模型能否泛化到预训练数据中未明确包含的子领域？
• RQ5 模型性能的提升在多大程度上源于数据规模，而非模型架构或预处理创新？

主要发现

• medBERT.de在八项多样化医学NLP基准测试中达到最先进性能，优于通用领域模型和现有医学专用德语BERT模型。
• 该模型在ICD和OPS编码分类任务中表现出显著提升，表明其在临床子领域间具有强大的泛化能力。
• 数据去重并未带来一致的性能增益；medBERT.de在部分基准上优于其去重版本，但在其他基准上表现更差。
• 高效分词对性能影响甚微，表明模型性能的提升主要源于训练数据的规模，而非分词策略。
• 尽管训练数据中约40%为放射科报告，模型在非放射科文本（如出院记录和手术报告）基准上表现强劲，表明其泛化能力良好。
• BioGottBERT与GottBERT等模型之间的性能差异表明，即使在微调阶段使用医学数据，基于通用领域文本（如维基百科）进行训练，也可能在更广泛任务上带来性能增益。