[论文解读] End-to-end Named Entity Recognition and Relation Extraction using Pre-trained Language Models

John Giorgi, Xindi Wang+4 more|arXiv (Cornell University)|Dec 20, 2019

Topic Modeling参考文献 32被引用 29

一句话总结

该论文提出了一种完全端到端的神经模型，用于联合命名实体识别（NER）与关系抽取（RE），该模型利用预训练的 BERT 语言模型，无需依赖外部 NLP 工具或手工设计的模板。该模型在三个领域五个数据集上均达到最先进性能，且由于微调预训练参数和使用自注意力机制而非循环结构，训练速度更快。

ABSTRACT

Named entity recognition (NER) and relation extraction (RE) are two important tasks in information extraction and retrieval (IE \& IR). Recent work has demonstrated that it is beneficial to learn these tasks jointly, which avoids the propagation of error inherent in pipeline-based systems and improves performance. However, state-of-the-art joint models typically rely on external natural language processing (NLP) tools, such as dependency parsers, limiting their usefulness to domains (e.g. news) where those tools perform well. The few neural, end-to-end models that have been proposed are trained almost completely from scratch. In this paper, we propose a neural, end-to-end model for jointly extracting entities and their relations which does not rely on external NLP tools and which integrates a large, pre-trained language model. Because the bulk of our model's parameters are pre-trained and we eschew recurrence for self-attention, our model is fast to train. On 5 datasets across 3 domains, our model matches or exceeds state-of-the-art performance, sometimes by a large margin.

研究动机与目标

• 解决流水线式 NER 与 RE 系统中的错误传播和信息共享有限的问题。
• 克服现有联合模型对依赖解析器等外部 NLP 工具的依赖，尤其在生物医学和临床文本等低资源领域中的局限性。
• 开发一种真正端到端的系统，通过利用预训练语言模型避免从零开始训练，从而减少训练时间，并在小样本数据集上提升性能。
• 通过用自注意力机制替代循环网络并微调预训练的 BERT 参数，实现在单张 GPU 上每数据集训练时间少于一小时，实现快速高效的训练。
• 在多样化领域中实现最先进性能的同时，保持模块化与可扩展性，便于适配其他预训练模型或新领域。

提出的方法

• 将预训练的 BERT 模型作为主编码器，其参数在端到端训练中进行微调，以联合执行 NER 和 RE 任务。
• 在 BERT 的上下文嵌入表示基础上，分别构建序列到序列头用于 NER 和关系分类头用于 RE。
• 以端到端方式训练整个模型，无需依赖依存解析或手工模板。
• 用自注意力机制替代循环网络，实现并行化处理，加快收敛速度，在单张 GPU 上每数据集训练时间少于一小时。
• 利用 BERT 的模块化设计，便于适配领域特定的预训练模型（如 BioBERT）或替代架构（如 XLNet）。
• 使用 BertViz 可视化注意力权重，分析模型行为并解释注意力模式，如关注相邻词语或句子边界。

实验结果

研究问题

• RQ1 基于预训练的 Transformer 模型是否能在不依赖外部 NLP 工具或手工模板的情况下，实现最先进的联合 NER 与 RE 性能？
• RQ2 与从零开始训练相比，微调 BERT 等预训练语言模型是否能带来更快的收敛速度和更好的性能，尤其是在低资源的生物医学和临床数据集上？
• RQ3 微调后的 BERT 模型中的注意力模式如何反映与 NER 和 RE 任务相关的句法与语义关系？
• RQ4 该模型在跨领域场景下的泛化能力如何，特别是在处理复杂嵌套实体或跨句关系时？
• RQ5 该模型架构在使用多语言预训练 BERT 权重的情况下，能否扩展以支持多语言设置？

主要发现

• 该模型在三个领域五个数据集上均达到最先进性能，尤其在 ADE 数据集上提升达 6.53%，尽管该提升可能因数据集中高频率的句内标注模式而被夸大。
• 当在 RE 模块中使用真实标注的实体时，该模型在 ADE 数据集上的性能接近完美（98%），表明模型利用了语料中频繁出现的“两实体一关系”模式。
• 该模型在单张 GPU 上每数据集训练时间少于一小时，由于采用自注意力机制和预训练参数初始化，相较于 RNN 模型具有显著的训练速度优势。
• 注意力可视化结果证实，模型保留了关键注意力模式，如关注相邻词语、自注意力以及句子边界，表明句法和结构线索在微调后仍被有效保留。
• 消融实验表明，各组件（尤其是预训练的 BERT 编码器和端到端训练设置）对最优性能至关重要。
• 该模型的模块化设计使其可轻松适配领域特定的预训练模型（如 BioBERT）或替代架构（如 XLNet），显著增强了其泛化能力与可重用性。