[论文解读] Conceptualized Representation Learning for Chinese Biomedical Text Mining

Ningyu Zhang, Qianghuai Jia+4 more|arXiv (Cornell University)|Aug 25, 2020

Topic Modeling参考文献 11被引用 55

一句话总结

MC-BERT 引入整个实体掩码和整个跨度掩码，以在中文 BERT 预训练中注入生物医学知识，发布 ChineseBLUE 基准并在中文生物医学 NLP 任务上达到最先进的结果。

ABSTRACT

Biomedical text mining is becoming increasingly important as the number of biomedical documents and web data rapidly grows. Recently, word representation models such as BERT has gained popularity among researchers. However, it is difficult to estimate their performance on datasets containing biomedical texts as the word distributions of general and biomedical corpora are quite different. Moreover, the medical domain has long-tail concepts and terminologies that are difficult to be learned via language models. For the Chinese biomedical text, it is more difficult due to its complex structure and the variety of phrase combinations. In this paper, we investigate how the recently introduced pre-trained language model BERT can be adapted for Chinese biomedical corpora and propose a novel conceptualized representation learning approach. We also release a new Chinese Biomedical Language Understanding Evaluation benchmark ( extbf{ChineseBLUE}). We examine the effectiveness of Chinese pre-trained models: BERT, BERT-wwm, RoBERTa, and our approach. Experimental results on the benchmark show that our approach could bring significant gain. We release the pre-trained model on GitHub: https://github.com/alibaba-research/ChineseBLUE.

研究动机与目标

• 由于领域特定的词汇分布和长尾术语，推动将 BERT 迁移到中文生物医学文本。
• 提出 MC-BERT，通过知识灌输的预训练将生物医学概念注入表示中。
• 发布 ChineseBLUE，这是一个面向多任务的大规模中文生物医学语言理解评估基准。

提出的方法

• 在一个中文生物医学语料库上以 BERT-base 为起点对 MC-BERT 进行预训练。
• 使用整体实体掩码，对来自知识图谱和命名实体识别工具的完整生物医学实体进行掩码。
• 使用整体跨度掩码，覆盖通过 Autophrase 和 Biomedical Phrase 资源提取的细粒度生物医学短语，按规则和 fastText 过滤。
• 训练时的学习率设定在大约 1e-5，并取消学习率预热以避免灾难性遗忘。
• 将输入分为基于句子的正样本和跨文档的负样本，用于下一个句子预测。
• 通过整合同句、短语和实体来引导词嵌入学习，而不是添加单独的知识嵌入。

实验结果

研究问题

• RQ1 在预训练中注入领域特定的生物医学知识是否能提升中文生物医学 NLP 任务的表现？
• RQ2 实体级掩码和跨度级掩码策略如何影响中文生物医学文本的表征学习？
• RQ3 知识灌输的预训练方法是否在 ChineseBLUE 任务上优于标准的 BERT 变体？

主要发现

• MC-BERT 在 ChineseBLUE 的若干中文生物医学任务上优于 BERT-base。
• 消融实验显示在移除整个实体掩码或整个跨度掩码时性能下降，凸显了这些策略的作用。
• 与 RoBERTa 和其他中文预训练模型相比，MC-BERT 的生物医学预训练在所评估任务上表现更优。