[论文解读] Benchmarking BioRelEx for Entity Tagging and Relation Extraction

Abhinav Bhatt, Kaustubh Dhole|arXiv (Cornell University)|May 31, 2020

Topic Modeling参考文献 21被引用 4

一句话总结

该论文在最近发布的BioRelEx数据集上对多种实体标注与关系抽取模型进行了基准测试，表明基于跨度的多任务架构（如DYGIEPP）在实体标注和关系抽取任务上分别相比之前的最先进方法实现了4.9%和6%的F1分数绝对提升。研究进一步表明，领域特定嵌入（如BioELMo）能显著提升性能，尤其在实体标注任务中表现突出，而通过关系与共指传播进行的多任务学习也有助于提升结果。

ABSTRACT

Extracting relationships and interactions between different biological entities is still an extremely challenging problem but has not received much attention as much as extraction in other generic domains. In addition to the lack of annotated data, low benchmarking is still a major reason for slow progress. In order to fill this gap, we compare multiple existing entity and relation extraction models over a recently introduced public dataset, BioRelEx of sentences annotated with biological entities and relations. Our straightforward benchmarking shows that span-based multi-task architectures like DYGIE show 4.9% and 6% absolute improvements in entity tagging and relation extraction respectively over the previous state-of-art and that incorporating domain-specific information like embeddings pre-trained over related domains boosts performance.

研究动机与目标

• 使用最近发布的BioRelEx数据集，为生物文本中的实体标注与关系抽取建立更强的基准。
• 评估现代基于跨度的多任务架构（如DYGIE）在特定领域生物医学文本上的有效性。
• 研究领域特定嵌入以及架构组件（如关系与共指传播）对性能的影响。
• 确定BioRelEx的最佳模型与嵌入配置，超越先前的最先进水平。

提出的方法

• 该研究在BioRelEx验证集上评估了多种模型，包括BiLSTM-CRF、BiGRU-CRF、CNN-CRF以及最先进模型DYGIEPP。
• 在不同模型架构中引入多种嵌入方法（GloVe、FastText、Byte Pair、Flair和BioELMo），以评估其影响。
• 作者将ELMo、GloVe和字符级嵌入作为输入特征，并采用多任务学习，联合优化实体标注、关系抽取和共指消解任务。
• 系统性地评估了共指与关系传播机制，以确定其对跨度表示学习的贡献。
• 进行了超参数调优，包括调整BiLSTM组件中的隐藏单元数和层数，最终确定400个单元和2层为最优配置。
• 使用Khachatrian等人（2019）提供的官方评估脚本，通过微平均的精确率、召回率和F1分数评估性能。

实验结果

研究问题

• RQ1 基于跨度的多任务架构（如DYGIEPP）是否能在BioRelEx数据集上超越传统模型（如BiLSTM-CRF）？
• RQ2 领域特定嵌入（如BioELMo）在多大程度上能提升BioRelEx上的实体标注与关系抽取性能？
• RQ3 架构组件（如关系与共指传播）如何影响模型在BioRelEx上的性能表现？
• RQ4 在该生物医学NLP基准中，上下文嵌入（如ELMo或BioELMo）是否优于BERT和SciBERT？
• RQ5 是否存在因数据转换问题导致的评估差异？这些差异如何影响性能比较？

主要发现

• DYGIEPP在BioRelEx数据集上实现了实体标注任务4.9%的F1分数绝对提升，关系抽取任务6%的绝对提升，相比先前的最先进方法。
• 与标准ELMo嵌入相比，使用BioELMo嵌入在实体标注任务中实现了1.7%的F1分数绝对提升。
• 共指传播在实体标注和关系抽取任务中均提升了性能，而关系传播在关系抽取任务中表现出更强的正向影响。
• 在该基准上，采用ELMo、GloVe和字符嵌入的多任务架构优于BERT和SciBERT，这与GLUE基准上的发现相反。
• 评估脚本的数据转换过程可能导致轻微差异，使训练集上的最大F1分数限制在约91.2%，尽管相对的模型排名保持稳定。
• 增加BiLSTM的层数和隐藏单元数可提升性能，其中400个单元和2层被确定为获得最佳结果的最优配置。