[论文解读] Fine-Grained Entity Typing for Domain Independent Entity Linking

Yasumasa Onoe, Greg Durrett|arXiv (Cornell University)|Sep 12, 2019

Topic Modeling参考文献 39被引用 6

一句话总结

本文提出了一种与领域无关的实体链接系统，将实体链接问题建模为细粒度实体分类任务，利用基于维基百科分类的大规模远程监督分类模型，预测数万个细粒度类型。通过利用实体的软类型预测进行消歧，该方法在CoNLL-YAGO上实现了最先进性能，并在WikilinksNED中对未见实体的泛化能力显著优于神经网络模型，即使在零样本设置下也优于强大的GRU+Attn模型。

ABSTRACT

Neural entity linking models are very powerful, but run the risk of overfitting to the domain they are trained in. For this problem, a domain is characterized not just by genre of text but even by factors as specific as the particular distribution of entities, as neural models tend to overfit by memorizing properties of frequent entities in a dataset. We tackle the problem of building robust entity linking models that generalize effectively and do not rely on labeled entity linking data with a specific entity distribution. Rather than predicting entities directly, our approach models fine-grained entity properties, which can help disambiguate between even closely related entities. We derive a large inventory of types (tens of thousands) from Wikipedia categories, and use hyperlinked mentions in Wikipedia to distantly label data and train an entity typing model. At test time, we classify a mention with this typing model and use soft type predictions to link the mention to the most similar candidate entity. We evaluate our entity linking system on the CoNLL-YAGO dataset (Hoffart et al., 2011) and show that our approach outperforms prior domain-independent entity linking systems. We also test our approach in a harder setting derived from the WikilinksNED dataset (Eshel et al., 2017) where all the mention-entity pairs are unseen during test time. Results indicate that our approach generalizes better than a state-of-the-art neural model on the dataset.

研究动机与目标

• 为解决神经网络实体链接模型在训练领域实体分布上过拟合的问题。
• 通过建模细粒度实体属性而非记忆高频实体，提升实体链接的泛化能力。
• 开发一种无需目标领域标注实体链接数据的鲁棒、与领域无关的系统。
• 证明超细粒度实体分类可有效区分密切相关的实体，即使这些实体在训练中罕见或未见。
• 表明基于类型的消歧方法在未见提及-实体对的零样本设置下，泛化能力优于端到端神经网络模型。

提出的方法

• 该方法通过将维基百科分类扩展为分层的、多部分的类型，构建了包含数万个细粒度实体类型的大型类型库。
• 利用维基百科中的超链接提及作为远程监督信号，基于数百万个样本训练超细粒度实体分类模型。
• 该分类模型是一种高容量神经网络（源自先前工作），基于上下文为每个提及预测类型概率。
• 测试时，通过简单启发式方法进行实体链接：选择后验类型概率之和最高的候选实体。
• 该系统避免在实体链接数据上进行端到端训练，仅依赖分类模型的预测结果来指导消歧。
• 该方法在CoNLL-YAGO和一个从WikilinksNED衍生的具有挑战性的零样本设置上进行评估，其中所有测试提及-实体对在训练期间均未见。

实验结果

研究问题

• RQ1 细粒度实体分类能否在不依赖目标领域标注实体链接数据的情况下，提升跨领域实体链接的泛化能力？
• RQ2 基于维基百科分类训练的远程监督分类模型，在区分密切相关的实体（如“Ant”（昆虫）与“Apache_Ant”）方面效果如何？
• RQ3 建模超细粒度类型（数万个）是否在低资源或未见设置下优于粗粒度或中粒度分类？
• RQ4 在完全未见实体的零样本设置下，基于类型的链接系统性能与最先进神经网络模型相比如何？
• RQ5 模型在罕见或模糊类型上的性能下降程度如何？分层分类扩展能否缓解此问题？

主要发现

• 在CoNLL-YAGO数据集上，所提方法实现了最先进性能，优于先前的与领域无关的实体链接系统。
• 在从WikilinksNED衍生的零样本设置中，所有测试提及-实体对在训练期间均未见，该模型优于强大的GRU+Attn神经网络模型，后者甚至低于最常见的实体基线模型。
• 在领域特定数据上微调的GRU+Attn模型在未见实体上表现极差，表明其严重过拟合于训练实体分布。
• 该分类模型在使用30,000个扩展分类的CoNLL开发集上达到87.1%的准确率，较原始30,000个分类集（84.4%）提升了2.7个百分点。
• 在罕见类别上性能显著下降：例如，“history”类别尽管有超过900个唯一提及，F1值仅为11.4，表明语义纯净度和标签噪声存在挑战。
• 该模型能正确区分“Kobe”（人物 vs. 城市）等具有挑战性的案例，而基线模型失败，证明其对模糊提及具有鲁棒性。