[论文解读] Fine-Grained Entity Typing with High-Multiplicity Assignments

Maxim Rabinovich, Dan Klein|arXiv (Cornell University)|Apr 25, 2017

Natural Language Processing Techniques参考文献 8被引用 3

一句话总结

本文提出了一种在高多样性设定下进行细粒度实体类型识别的结构化预测方法，通过使用集合形式的类型预测并结合捕捉类型相关性的特征。在基于维基百科的新语料库上进行评估，该语料库具有丰富且去噪的类型分配，模型通过显式建模类型集合，显著优于非结构化基线方法，在完整特征集成下达到54.5的宏平均F1得分。

ABSTRACT

As entity type systems become richer and more fine-grained, we expect the number of types assigned to a given entity to increase. However, most fine-grained typing work has focused on datasets that exhibit a low degree of type multiplicity. In this paper, we consider the high-multiplicity regime inherent in data sources such as Wikipedia that have semi-open type systems. We introduce a set-prediction approach to this problem and show that our model outperforms unstructured baselines on a new Wikipedia-based fine-grained typing corpus.

研究动机与目标

• 为现有研究中缺乏反映真实世界知识资源（如维基百科）的高多样性实体类型标注数据集的问题提供解决方案。
• 将细粒度实体类型识别建模为结构化集合预测问题，而非多标签分类任务。
• 通过整合类型相关性和集合级特征，提升高多样性实体类型识别的性能。
• 构建并发布一个基于维基百科的新语料库，包含高多样性的类型分配，用于基准测试。

提出的方法

• 该模型将实体类型识别建模为对类型集合的结构化预测，使用线性模型和权重向量 w 来对候选类型集合 T 进行打分。
• 采用特征函数 φ(x, e, T)，结合实体特定特征、成对类型特征、基于图的特征（如共现或层次结构）以及集合大小。
• 通过贪心解码在类型集合中进行搜索，迭代添加能提升得分的类型，可选地引入连通性约束以减少搜索空间。
• 关键创新在于使用投影类型——维基百科类别的句法核心词——以减少稀疏性并提升泛化能力。
• 该方法通过将候选集合限制在类型约束图的连通分量内，实现高效的推理。
• 模型通过随机梯度下降在结构化预测目标上进行端到端训练，采用基于间隔的损失函数。

实验结果

研究问题

• RQ1 与非结构化基线相比，对类型集合进行结构化预测是否能在高多样性设定下的细粒度实体类型识别中提升性能？
• RQ2 集合级特征（如成对类型交互和图结构）在建模类型相关性方面的有效性如何？
• RQ3 使用半开放的、基于维基百科的类型系统（高多样性）是否比粗粒度的Freebase型系统具有更好的泛化能力？
• RQ4 在高多样性设定下，结构化建模带来的性能提升在稀有类型和常见类型中是否均能保持？
• RQ5 通过WordNet核心词进行类型投影是否能提升模型鲁棒性并减少现实世界实体类型识别中的稀疏性？

主要发现

• 在完整特征集成（成对、图结构和集合大小）下，结构化预测模型在实体级别任务上达到54.5的宏平均F1得分，显著优于非结构化基线（52.9）。
• 引入成对类型特征带来了显著的性能提升，而基于图的特征改进有限，表明在中等大小的类型集合中，成对相关性可能已足够。
• 模型在稀有类型上也保持了强劲性能，微平均F1得分在低频类型上依然保持高位。
• 使用投影类型（维基百科类别的句法核心词）显著提升了泛化能力，并减少了类型空间的稀疏性。
• 通过WordNet和层次约束对维基百科类别进行去噪的语料库构建过程，成功生成了一个真实、高多样性的数据集。
• 采用连通性约束的贪心解码在不损失性能的前提下减少了搜索空间，实现了对大规模类型集合的可扩展推理。