[论文解读] An Empirical Study of Multi-Task Learning on BERT for Biomedical Text Mining

Yifan Peng, Qingyu Chen+1 more|arXiv (Cornell University)|May 6, 2020

Topic Modeling参考文献 39被引用 12

一句话总结

该论文提出了一种使用多个解码器的多任务学习（MTL）框架，基于 BERT 联合微调生物医学和临床 NLP 任务，在 8 项多样化任务上实现了最先进性能。MTL 微调模型在生物医学基准上优于单任务 BERT 变体 2.0%，在临床基准上优于 1.3%，成对 MTL 分析揭示了任务特定的迁移效应。

ABSTRACT

Multi-task learning (MTL) has achieved remarkable success in natural language processing applications. In this work, we study a multi-task learning model with multiple decoders on varieties of biomedical and clinical natural language processing tasks such as text similarity, relation extraction, named entity recognition, and text inference. Our empirical results demonstrate that the MTL fine-tuned models outperform state-of-the-art transformer models (e.g., BERT and its variants) by 2.0% and 1.3% in biomedical and clinical domains, respectively. Pairwise MTL further demonstrates more details about which tasks can improve or decrease others. This is particularly helpful in the context that researchers are in the hassle of choosing a suitable model for new problems. The code and models are publicly available at https://github.com/ncbi-nlp/bluebert

研究动机与目标

• 调查使用共享 BERT 编码器的多任务学习是否能提升在多样化生物医学和临床 NLP 任务上的性能。
• 评估 MTL 在生物医学和临床 NLP 中常见的低资源设置下的有效性，其中标注数据稀缺。
• 识别哪些任务组合能带来性能提升或下降，从而为新任务的模型选择提供依据。
• 比较不同预训练策略（如仅 PubMed 与 PubMed 加临床笔记）对 MTL 性能的影响。
• 公开发布代码和预训练的 MTL 模型，以促进更广泛的研究使用和可复现性。

提出的方法

• 在 8 项生物医学和临床 NLP 任务上微调共享 BERT 编码器及多个特定任务的解码器，包括文本相似性、关系抽取、命名实体识别和文本蕴含。
• 在所有任务上联合训练一个多任务微调模型（MT-BERT-Refinement），然后在单个任务上进行微调（MT-BERT-Fine-Tune）。
• 使用成对 MTL 评估任意两个任务联合训练的影响，识别有益或有害的任务组合。
• 比较不同 BERT 变体（BioBERT、ClinicalBERT 和 BlueBERT）在 MTL 性能上的表现，其预训练数据各不相同（PubMed、临床笔记或两者兼有）。
• 分别对生物医学和临床领域应用 MT-BERT-Fine-Tune 方法，并使用 BLUE 基准进行评估。
• 使用 BLUE 基准评估在多样化文本类型和 NLP 任务上的泛化能力，确保 MTL 收益的稳健性。

实验结果

研究问题

• RQ1 与单任务微调相比，使用共享 BERT 编码器的多任务学习是否能提升在个体生物医学和临床 NLP 任务上的性能？
• RQ2 哪些任务组合在多任务学习中带来最显著的性能提升，哪些组合具有负面影响？
• RQ3 预训练数据（如仅 PubMed 与 PubMed 加临床笔记）如何影响生物医学和临床领域 MTL 模型的性能？
• RQ4 一个单一的 MTL 模型是否能实现所有任务的最先进性能，从而实现新任务的高效部署？
• RQ5 数据特征（如标签集大小、语料库大小）在多大程度上可预测多任务学习在生物医学 NLP 中的成功？

主要发现

• MT-BERT-Fine-Tune 模型在生物医学任务上相比单任务 BERT 平均提升 2.0%，在临床任务上提升 1.3%，创下新的最先进结果。
• 成对 MTL 分析显示，MedNLI 和 i2b2 2010 re 任务在与其他任务联合训练时可能提升或损害其他任务性能，其中 i2b2 2010 re 任务因标签多样性高而表现出混合效应。
• MT-BlueBERT-Fine-Tune 在临床任务中表现优于其他变体，而 MT-BioBERT-Fine-Tune 在所有 BLUE 任务上实现了最佳平均性能。
• 在 PubMed 和临床笔记上联合预训练显著提升了临床任务的性能，但对生物医学任务影响可忽略。
• 标签集较大的任务（如 DDI、ChemProt）从 MTL 中受益最多，而训练数据量大的任务（如 BC5CDR）则收益最小。
• MTL 优化阶段（MT-BERT-Refinement）提供了持续的性能提升，支持两阶段方法：先联合预训练，再进行任务特定微调。