[论文解读] Entity-aware ELMo: Learning Contextual Entity Representation for Entity Disambiguation

Hamed Shahbazi, Xiaoli Z. Fern+3 more|arXiv (Cornell University)|Aug 14, 2019

Topic Modeling参考文献 19被引用 19

一句话总结

本文提出实体感知ELMo（E-ELMo），一种上下文实体表示模型，通过在上下文编码过程中训练语言模型预测已定位的实体而非单词，从而扩展ELMo。通过将实体感知监督整合到双向RNN架构中，E-ELMo学习到更丰富、上下文敏感的实体表示，使一个简单的局部消歧模型在AIDA和TAC基准上超越最先进的全局模型，在AIDA测试集b上实现0.5%的微平均准确率提升（使用YAGO数据集）。

ABSTRACT

We present a new local entity disambiguation system. The key to our system is a novel approach for learning entity representations. In our approach we learn an entity aware extension of Embedding for Language Model (ELMo) which we call Entity-ELMo (E-ELMo). Given a paragraph containing one or more named entity mentions, each mention is first defined as a function of the entire paragraph (including other mentions), then they predict the referent entities. Utilizing E-ELMo for local entity disambiguation, we outperform all of the state-of-the-art local and global models on the popular benchmarks by improving about 0.5\% on micro average accuracy for AIDA test-b with Yago candidate set. The evaluation setup of the training data and candidate set are the same as our baselines for fair comparison.

研究动机与目标

• 解决局部NED模型在捕捉提及与候选实体之间丰富上下文依赖关系方面的局限性。
• 克服标准ELMo缺乏实体感知的问题，后者预测的是单词而非实体。
• 证明经过精心设计的局部模型若结合上下文实体表示，可超越全局模型的性能。
• 利用未标注语料和端到端训练，学习深层、上下文敏感的实体表示。

提出的方法

• 通过将预测目标修改为在提及位置预测已定位的实体而非下一个单词，扩展ELMo。
• 使用双向RNN结合字符级CNN编码器，为每个标记生成上下文感知表示。
• 在未标注文本上端到端训练模型，损失函数鼓励在提及跨度处正确预测实体。
• 将E-ELMo表示集成到一个简单的局部分类器中，基于提及上下文与实体表示的相似性对候选实体进行打分。
• 仅使用提及上下文和实体表示，不进行全局联合推理，将模型应用于局部实体消歧。
• 通过消融研究评估实体感知监督、词汇特征和先验知识的贡献。

实验结果

研究问题

• RQ1 具有实体感知上下文表示的局部NED模型能否超越最先进的全局模型？
• RQ2 实体感知预训练对低频和稀有实体的性能有何影响？
• RQ3 E-ELMo表示在多大程度上捕捉了与消歧相关的句法、语义和词汇依赖关系？
• RQ4 若移除词汇特征和先验知识，性能是否显著下降，从而表明E-ELMo表示的鲁棒性？

主要发现

• 在AIDA测试集b上，使用YAGO候选集时，E-ELMo实现了96.24%的微平均准确率，比之前最先进的全局模型高出约0.5%。
• 该模型在稀有实体上也保持强劲表现，对于在Wikipedia中出现1–10次的实体，准确率达到95.42%，显著优于该类别中的全局模型（91.93%）。
• 即使不使用词汇特征或先验知识，E-ELMo模型在YAGO数据集上仍达到92.30%的准确率，表明其实体感知表示具有鲁棒性和自足性。
• 在开放域数据集上，E-ELMo的表现与最先进的全局模型相当，证明其在标准基准之外也具备良好的泛化能力。
• 消融研究显示，移除先验知识和词汇特征仅导致性能轻微下降，表明E-ELMo已能内部捕获关键依赖关系。
• 在所有文档提及数量下，E-ELMo始终优于全局模型，尤其在提及数少于20个的文档中性能差距最大。