[论文解读] Finer Grained Entity Typing with TypeNet.

Shikhar Murty, Patrick Verga+2 more|arXiv (Cornell University)|Nov 1, 2017

Natural Language Processing Techniques被引用 7

一句话总结

本文提出了TypeNet，一个包含1,941种分层类型的细粒度实体分类数据集，通过将Freebase类型映射到WordNet构建而成。该研究提出在层次结构上结合标准分类损失的结构损失模型，推动了细粒度、结构化实体分类的最先进水平，建立了新的基准和方法论框架。

ABSTRACT

We consider the challenging problem of entity typing over an extremely fine grained set of types, wherein a single mention or entity can have many simultaneous and often hierarchically-structured types. Despite the importance of the problem, there is a relative lack of resources in the form of fine-grained, deep type hierarchies aligned to existing knowledge bases. In response, we introduce TypeNet, a dataset of entity types consisting of over 1941 types organized in a hierarchy, obtained by manually annotating a mapping from 1081 Freebase types to WordNet. We also experiment with several models comparable to state-of-the-art systems and explore techniques to incorporate a structure loss on the hierarchy with the standard mention typing loss, as a first step towards future research on this dataset.

研究动机与目标

• 解决现有知识库中缺乏与之对齐的细粒度、深层类型层次结构的实体分类问题。
• 构建一个全面的、人工精心整理的1,941种实体类型的分层结构数据集。
• 探索在神经网络模型中整合层次结构损失与标准提及分类损失的方法。
• 基于结构化、与知识库对齐的数据集，建立细粒度实体分类的基准。

提出的方法

• 人工标注1,081个Freebase类型到WordNet概念的映射，以构建分层类型网络。
• 基于WordNet的语义结构，构建一个包含1,941种类型、呈树状层次结构的数据集。
• 设计联合优化提及级分类与层次结构一致性目标的神经网络模型。
• 引入一种结构损失函数，以促使预测的类型嵌入尊重TypeNet中的层次关系。
• 使用标准交叉熵损失进行提及分类，同时在类型嵌入上引入对比式结构损失进行联合训练。

实验结果

研究问题

• RQ1 如何系统性地从现有知识库构建细粒度、分层的实体类型分类体系？
• RQ2 在细粒度实体分类中，引入层次结构损失在多大程度上能提升模型性能？
• RQ3 人工构建的大规模类型层次结构在多大程度上能提升实体分类模型的泛化能力与准确性？
• RQ4 当联合优化提及预测与类型层次一致性时，不同模型架构的表现如何？

主要发现

• TypeNet提供了一个包含1,941种实体类型的完整数据集，其类型按层次结构组织，源自将Freebase类型映射到WordNet。
• 引入结构损失函数可提升模型性能，通过强制模型保持与层次类型关系的一致性。
• 所提出的方法表明，联合优化提及分类与层次结构一致性，能更好地与语义类型层次对齐。
• 该数据集与框架为未来在层次监督下开展细粒度、结构化实体分类研究奠定了基础。