[论文解读] Global Entity Disambiguation with Pretrained Contextualized Embeddings of Words and Entities

Ikuya Yamada, Koki Washio+2 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 30被引用 29

一句话总结

该论文提出了一种基于 BERT 的全局实体消歧模型，利用 BERT 的上下文嵌入表示词和实体，并在 Wikipedia 标注文本上通过掩码实体预测任务进行训练。通过将实体消歧建模为序列决策任务以捕捉全局上下文，该模型在六个标准数据集上实现了最先进性能，在除一个数据集外的所有数据集中均优于先前方法。

ABSTRACT

We propose a new global entity disambiguation (ED) model based on contextualized embeddings of words and entities. Our model is based on a bidirectional transformer encoder (i.e., BERT) and produces contextualized embeddings for words and entities in the input text. The model is trained using a new masked entity prediction task that aims to train the model by predicting randomly masked entities in entity-annotated texts obtained from Wikipedia. We further extend the model by solving ED as a sequential decision task to capture global contextual information. We evaluate our model using six standard ED datasets and achieve new state-of-the-art results on all but one dataset.

研究动机与目标

• 通过利用双向变换器编码器生成的上下文嵌入表示词和实体，提升全局实体消歧性能。
• 通过序列决策建模引入全局上下文信息，解决现有实体消歧方法在局部上下文建模上的局限性。
• 通过一种新颖的掩码实体预测目标，在实体标注文本上有效训练模型。
• 在标准实体消歧基准测试中实现最先进性能。

提出的方法

• 利用双向变换器编码器（BERT）为输入文本中的词和实体生成上下文嵌入表示。
• 提出一种掩码实体预测预训练任务，即在 Wikipedia 标注文本中随机掩码实体，由模型进行预测。
• 将模型扩展为将实体消歧视为序列决策任务，从而利用整个文档的全局上下文信息。
• 在推理过程中，利用变换器编码器生成的上下文表示，联合建模词和实体的语义。
• 在下游实体消歧数据集上端到端微调模型，采用标准评估协议。
• 采用基于条件概率的实体候选模型，整合来自整个输入序列的上下文特征。

实验结果

研究问题

• RQ1 与先前方法相比，基于 BERT 的联合词和实体上下文表示模型是否能提升实体消歧性能？
• RQ2 掩码实体预测预训练目标是否能有效捕捉上下文中词与实体之间的关系？
• RQ3 将实体消歧建模为序列决策任务，在多大程度上通过利用全局上下文信息提升性能？
• RQ4 在多样化的实体消歧基准测试中，该模型与现有最先进方法相比表现如何？

主要发现

• 所提出的模型在六个标准实体消歧数据集上实现了最先进结果，表现出一致的性能提升。
• 该模型在六个基准数据集中的五个上优于先前方法，表明其在多样化领域中具有广泛有效性。
• 掩码实体预测预训练目标有效提升了模型在上下文中预测正确实体的能力。
• 将 ED 建模为序列决策任务显著提升了性能，使模型能够考虑长距离依赖和全局上下文。
• 整合上下文嵌入的词和实体表示，相比仅依赖词级上下文的模型，能实现更准确的实体预测。
• 该模型在不同类型实体标注文本中表现出强大的泛化能力，尤其在长上下文和歧义场景下表现优异。