[论文解读] Context-Dependent Fine-Grained Entity Type Tagging

Dan Gillick, Nevena Lazic+3 more|arXiv (Cornell University)|Dec 3, 2014

Natural Language Processing Techniques参考文献 13被引用 107

一句话总结

本文提出一种上下文相关的细粒度实体类型标注方法，仅将可从局部上下文推断出的标签视为有效。通过引入标签剪枝启发式方法，减少弱监督训练数据中的噪声，在包含12,017个手动标注提及的新型数据集上取得70.01%的F1分数，显著优于基线方法。

ABSTRACT

Entity type tagging is the task of assigning category labels to each mention of an entity in a document. While standard systems focus on a small set of types, recent work (Ling and Weld, 2012) suggests that using a large fine-grained label set can lead to dramatic improvements in downstream tasks. In the absence of labeled training data, existing fine-grained tagging systems obtain examples automatically, using resolved entities and their types extracted from a knowledge base. However, since the appropriate type often depends on context (e.g. Washington could be tagged either as city or government), this procedure can result in spurious labels, leading to poorer generalization. We propose the task of context-dependent fine type tagging, where the set of acceptable labels for a mention is restricted to only those deducible from the local context (e.g. sentence or document). We introduce new resources for this task: 12,017 mentions annotated with their context-dependent fine types, and we provide baseline experimental results on this data.

研究动机与目标

• 通过仅考虑上下文相关的类型来解决弱监督细粒度实体类型标注中的标签噪声问题。
• 通过将可接受标签限制在可从局部上下文（如句子或文档）推断出的类型，提升模型泛化能力。
• 构建一个包含12,017个手动标注提及的新高质量基准数据集，用于上下文相关的细类型标注。
• 评估标签剪枝启发式方法在减少自动生成训练数据中虚假标签方面的有效性。
• 为下游NLP任务提供一种更准确且具有上下文意义的实体类型标注框架。

提出的方法

• 作者基于Freebase构建了一个分层类型分类体系，将类型组织为具有IS-A关系的树形结构。
• 从OntoNotes测试语料库中构建了一个包含12,017个提及的新数据集，标注了上下文相关的细粒度类型。
• 使用弱监督方法从Wikipedia中解析出的实体生成训练数据，但通过剪枝启发式方法去除无关标签。
• 提出四种标签剪枝启发式方法：最小计数、兄弟类型过滤、粗粒度类型过滤及其组合。
• 采用局部分类器，考虑上下文特定约束，并在推理过程中对约束进行边际化处理。
• 系统采用分层分类方法，通过自顶向下分配标签，并为不同深度使用特定的负样本。

实验结果

研究问题

• RQ1 通过将标签限制在可从局部上下文推断出的类型，是否能提升上下文相关细粒度实体类型标注的性能？
• RQ2 标签剪枝启发式方法在减少弱监督训练数据中细粒度类型标注的虚假标签方面有多有效？
• RQ3 分层分类与上下文感知建模对细粒度类型标注性能有何影响？
• RQ4 在分层类型标注设置中，局部分类器与平坦分类器相比表现如何？
• RQ5 多种剪枝启发式方法的组合在细粒度实体类型标注中对F1和AUC的提升程度如何？

主要发现

• 局部分类器优于平坦分类器，在第1层取得82.80的F1分数，第2层为40.00，而平坦分类器分别为81.61和33.37。
• 所有剪枝启发式方法组合使用时，相比无任何启发式方法的基线，F1分数提升11.3%，AUC提升7.2%。
• 性能最佳的系统在使用所有启发式方法和局部分类时，达到70.01%的F1分数和69.29%的AUC。
• 粗粒度剪枝启发式方法对性能提升贡献最大，将训练样本数从858万减少至508万，同时提升精确率和F1分数。
• 结果表明，上下文相关标注与标签剪枝对减少噪声、提升细粒度类型标注的泛化能力至关重要。
• 研究揭示了在类型分类体系深层存在低资源标签的问题，F1分数显著下降（例如，平坦分类器在第3层F1仅为3.47）。