[论文解读] MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers

Muhammad Raza Khan, Morteza Ziyadi+1 more|arXiv (Cornell University)|Jan 24, 2020

Topic Modeling参考文献 19被引用 34

一句话总结

MT-BioNER 提出一个基于多任务的 transformer 基于的 slot 标注模型，在多个生物医药 NER 数据集之间共享 BioBERT/BERT 层，相较于单任务方法，在召回率和综合 F1 上有所提升，同时降低训练和推理时间。

ABSTRACT

Conversational agents such as Cortana, Alexa and Siri are continuously working on increasing their capabilities by adding new domains. The support of a new domain includes the design and development of a number of NLU components for domain classification, intents classification and slots tagging (including named entity recognition). Each component only performs well when trained on a large amount of labeled data. Second, these components are deployed on limited-memory devices which requires some model compression. Third, for some domains such as the health domain, it is hard to find a single training data set that covers all the required slot types. To overcome these mentioned problems, we present a multi-task transformer-based neural architecture for slot tagging. We consider the training of a slot tagger using multiple data sets covering different slot types as a multi-task learning problem. The experimental results on the biomedical domain have shown that the proposed approach outperforms the previous state-of-the-art systems for slot tagging on the different benchmark biomedical datasets in terms of (time and memory) efficiency and effectiveness. The output slot tagger can be used by the conversational agent to better identify entities in the input utterances.

研究动机与目标

• 动机：在标注数据有限的情况下，提升面向领域对话代理的生物医学命名实体识别（BioNER）的性能。
• 提出一种多任务学习架构，在跨数据集共享预训练语言模型层的同时，使用数据集特定的输出头。
• 在基准生物医学数据集上展示在精确度、召回率和 F1 上的性能提升，并分析训练/推理效率。

提出的方法

• 将 BioBERT 作为跨任务（数据集）的共享编码器。
• 为每个数据集附加任务特定的线性输出层，以学习数据集特定的实体类型。
• 以多任务目标进行训练，将每个数据集的交叉熵损失相加，数据集贡献相等（lambda_i = 1）。
• 研究两种迁移学习变体：冻结共享层 vs 微调整个网络。
• 与最先进的 BioNER 模型进行比较，并报告训练/推理时间和模型大小。
• 探索训练方案（算法 I vs 算法 II）和使用 BioBERT 与通用 BERT 基线的领域自适应。

实验结果

研究问题

• RQ1 多任务训练在共享 transformer 主干的情况下，是否相较于单任务或其他多任务基线提升在多个生物医学数据集上的 BioNER 性能？
• RQ2 微调策略（共享层微调 vs 冻结）对性能和训练效率有何影响？
• RQ3 领域特定预训练（BioBERT）在多任务 BioNER 中相对于通用 BERT 基座对结果有何影响？
• RQ4 多任务 BioNER 模型在训练/推理时间和模型大小方面的权衡是什么？

主要发现

• MT-BioNER 在三个数据集上训练时，召回率和 F1 均高于竞争基线。
• MT-BioNER 在四个数据集上训练时，在召回率和 F1 上相比 MTM-CW 多任务方法有改进。
• 将 BioBERT 作为共享编码器可为生物医学 NER 提供强烈的领域特异性表示。
• 对共享语言模型进行微调并与任务特定层共同训练对于强性能至关重要；冻结共享层会导致较差的结果（F1 < 60%）。
• 该模型相较于最近的多任务基线显示出更快的训练和推理时间，尽管多任务模型占用较大但单一模型 footprint（430 MB）。
• 领域自适应结果表明基于 BioBERT 的 MT-BioNER 超过或匹配基于通用 BERT 的设置，且在训练迭代方面存在一些权衡。