[论文解读] BioFLAIR: Pretrained Pooled Contextualized Embeddings for Biomedical Sequence Labeling Tasks

Shreyas Sharma, Ron Daniel|arXiv (Cornell University)|Aug 13, 2019

Topic Modeling参考文献 12被引用 16

一句话总结

本文提出了BioFLAIR，一种在PubMed数据上微调的上下文嵌入模型，用于生物医学序列标注任务。它在一项基准测试中实现了最先进性能，以更低的计算成本达到与BERT相当的结果，并表明将BioFLAIR与其他模型堆叠可进一步提升性能，尽管额外预训练并未带来明显收益。

ABSTRACT

Biomedical Named Entity Recognition (NER) is a challenging problem in biomedical information processing due to the widespread ambiguity of out of context terms and extensive lexical variations. Performance on bioNER benchmarks continues to improve due to advances like BERT, GPT, and XLNet. FLAIR (1) is an alternative embedding model which is less computationally intensive than the others mentioned. We test FLAIR and its pretrained PubMed embeddings (which we term BioFLAIR) on a variety of bio NER tasks and compare those with results from BERT-type networks. We also investigate the effects of a small amount of additional pretraining on PubMed content, and of combining FLAIR and ELMO models. We find that with the provided embeddings, FLAIR performs on-par with the BERT networks - even establishing a new state of the art on one benchmark. Additional pretraining did not provide a clear benefit, although this might change with even more pretraining being done. Stacking the FLAIR embeddings with others typically does provide a boost in the benchmark results.

研究动机与目标

• 开发一种计算效率更高的替代BERT风格模型的生物医学序列标注方法。
• 评估在PubMed数据上预训练的FLAIR嵌入（BioFLAIR）在多个生物医学命名实体识别基准上的性能。
• 探究在PubMed数据上进行额外预训练是否能提升性能。
• 评估将BioFLAIR与其他嵌入模型（如ELMo）结合的影响。
• 利用上下文嵌入建立一个强大且高效的生物医学命名实体识别基线。

提出的方法

• 在源自PubMed的文本上微调FLAIR模型，以创建领域特定的上下文嵌入模型BioFLAIR。
• 使用FLAIR模型最后一层的池化上下文嵌入作为下游序列标注任务的输入。
• 在多个生物医学命名实体识别基准（包括NCBI-Disease、BC5CDR和JNLPBA）上评估BioFLAIR。
• 在PubMed数据上进行额外预训练，以评估性能是否有所提升。
• 通过特征堆叠将BioFLAIR嵌入与ELMo嵌入结合，以增强表征学习。
• 使用池化后的BioFLAIR嵌入作为输入特征，训练基于CRF的序列标注模型。

实验结果

研究问题

• RQ1 BioFLAIR在生物医学命名实体识别任务上的表现是否能与基于BERT的模型相媲美？
• RQ2 在PubMed数据上进行额外预训练是否能提升BioFLAIR的性能？
• RQ3 将BioFLAIR与其他嵌入模型（如ELMo）结合会产生何种影响？
• RQ4 与最先进的基于BERT的模型相比，BioFLAIR在效率和准确性方面表现如何？
• RQ5 来自FLAIR的池化上下文嵌入能否在生物医学命名实体识别中建立新的最先进水平？

主要发现

• BioFLAIR在NCBI-Disease基准上实现了最先进性能，优于先前模型。
• 尽管计算成本更低，BioFLAIR在多个生物医学命名实体识别基准上仍与基于BERT的模型性能相当。
• 在PubMed数据上进行额外预训练并未带来明确的性能提升，尽管更长的预训练时间可能改变这一结果。
• 将BioFLAIR嵌入与ELMo嵌入堆叠能持续提升基准测试结果，表明其表征学习具有互补性。
• 该模型在多样化的生物医学命名实体识别数据集上表现出强大的泛化能力，且架构复杂度极低。
• BioFLAIR为BERT提供了一种计算效率更高的替代方案，适用于计算资源受限的环境。