[论文解读] Improving Entity Linking by Modeling Latent Entity Type Information

Shuang Chen, Jinpeng Wang+2 more|arXiv (Cornell University)|Jan 6, 2020

Topic Modeling参考文献 34被引用 5

一句话总结

该论文通过将潜在实体类型信息注入基于 BERT 的实体嵌入，并将基于 BERT 的实体相似度得分整合到局部上下文模型中，改进了神经实体链接。该方法显著减少了类型错误——纠正了 67.03% 的此类错误——在 AIDA-CoNLL 上实现了 1.32% 的绝对 F1 提升，在五个跨域数据集上平均 F1 提升 0.80%。

ABSTRACT

Existing state of the art neural entity linking models employ attention-based bag-of-words context model and pre-trained entity embeddings bootstrapped from word embeddings to assess topic level context compatibility. However, the latent entity type information in the immediate context of the mention is neglected, which causes the models often link mentions to incorrect entities with incorrect type. To tackle this problem, we propose to inject latent entity type information into the entity embeddings based on pre-trained BERT. In addition, we integrate a BERT-based entity similarity score into the local context model of a state-of-the-art model to better capture latent entity type information. Our model significantly outperforms the state-of-the-art entity linking models on standard benchmark (AIDA-CoNLL). Detailed experiment analysis demonstrates that our model corrects most of the type errors produced by the direct baseline.

研究动机与目标

• 为解决当前最先进神经实体链接模型中类型错误率较高的问题，这些模型常将提及链接到错误类型的实体。
• 探究现有模型为何无法从直接上下文中捕捉潜在实体类型线索，例如表示位置类型的介词。
• 通过学习提及周围 BERT 编码上下文中的类型敏感嵌入，改进实体表示。
• 将基于 BERT 的实体相似度整合到局部上下文模型中，以更好地捕捉类型兼容性。
• 通过增强实体表示中的类型感知能力，降低对主题级兼容性的依赖。

提出的方法

• 通过平均所有链接到同一实体的提及的 BERT 编码上下文表示，将潜在实体类型信息注入实体嵌入。
• 使用预训练 BERT 编码提及周围的直接上下文，将提及替换为 [MASK]，以捕捉句法和语义线索。
• 通过平均池化聚合上下文表示，为每个实体形成共享的、类型感知的实体嵌入。
• 将基于 BERT 的实体相似度得分整合到最先进实体链接器的局部上下文模型中，以改善类型感知匹配。
• 对 BERT 进行微调以实现领域适应，并利用其预训练表示提升上下文和实体表示的质量。
• 使用多标签二元交叉熵损失在实体类型上进行模型训练，并基于验证集表现采用早停策略。

实验结果

研究问题

• RQ1 为何最先进的神经实体链接模型尽管具备强大的上下文建模能力，仍频繁出现类型错误？
• RQ2 在直接上下文中潜在实体类型信息的利用程度在多大程度上能提升实体链接的准确性？
• RQ3 与词袋注意力模型相比，基于 BERT 的上下文编码在捕捉实体类型线索方面有何改进？
• RQ4 基于 BERT 的实体嵌入能否通过学习更敏感的类型表示来减少类型不匹配？
• RQ5 将基于 BERT 的实体相似度整合到局部上下文模型中，在纠正类型错误方面的有效性如何？

主要发现

• 与基线模型相比，所提模型在域内 AIDA-CoNLL 测试集上实现了 1.32% 的绝对 F1 提升。
• 在五个跨域测试集上，该模型在五轮运行中平均实现了 0.80% 的 F1 提升。
• 该方法纠正了最先进基线模型产生的 67.03% 的类型错误。
• 最近邻上下文检索显示，该模型的上下文表示捕捉到了如介词（例如 'In'）等句法线索，这些线索可指示实体类型。
• 最近邻实体检索证实，基于 BERT 的嵌入保留了类型一致性，而基线嵌入则常检索到主题相似但类型不兼容的实体。
• 剩余的类型错误主要源于先验和全局建模的局限性，表明这些领域仍有进一步改进的空间。