[论文解读] A Chinese Corpus for Fine-grained Entity Typing

Lee Chin, Hongliang Dai+2 more|arXiv (Cornell University)|Apr 19, 2020

Topic Modeling参考文献 18被引用 6

一句话总结

本文提出一个大规模中文细粒度实体类型识别语料库，包含4,800个众包标注样本（自由形式实体类型）和190万条远程监督样本，并建立了映射至10种通用类型的层次化类型体系。研究展示了使用BERT和BiLSTM模型的优异性能，并表明从英文数据进行的跨语言迁移学习可提升中文实体类型识别的准确率。

ABSTRACT

Fine-grained entity typing is a challenging task with wide applications. However, most existing datasets for this task are in English. In this paper, we introduce a corpus for Chinese fine-grained entity typing that contains 4,800 mentions manually labeled through crowdsourcing. Each mention is annotated with free-form entity types. To make our dataset useful in more possible scenarios, we also categorize all the fine-grained types into 10 general types. Finally, we conduct experiments with some neural models whose structures are typical in fine-grained entity typing and show how well they perform on our dataset. We also show the possibility of improving Chinese fine-grained entity typing through cross-lingual transfer learning.

研究动机与目标

• 为解决中文细粒度实体类型识别缺乏大规模高质量数据集的问题。
• 构建一个涵盖正式新闻和非正式社交媒体文本的多样化、代表性语料库。
• 通过将细粒度类型映射至10种通用类别，建立层次化类型体系，以提升下游任务的可用性。
• 在所提出的语料库上评估神经网络模型，并探索低资源中文NLP中的跨语言迁移学习。
• 为推进中文细粒度实体类型识别提供基准，提升类型覆盖范围和模型泛化能力。

提出的方法

• 通过Amazon Mechanical Turk众包方式，为4,800个实体提及标注自由形式、开放式实体类型。
• 利用Wikipedia-Wikidata链接进行远程监督，生成额外的190万条实体提及标注。
• 通过将每个细粒度类型分配至10种通用类型（如人物、组织、地点）构建层次化类型映射体系。
• 在众包语料库上训练并评估BiLSTM和基于BERT的神经网络模型，用于实体类型识别。
• 通过使用预训练的英文Babylon词向量初始化模型，并在中文数据上微调，应用跨语言迁移学习。
• 采用标准指标（如MRR、精确率、召回率和F1）在通用类型和细粒度类型层级上评估模型性能。

实验结果

研究问题

• RQ1 能否通过结合众包与远程监督，有效构建大规模高质量的中文细粒度实体类型识别语料库？
• RQ2 标准神经网络模型（如BiLSTM、BERT）在所提出的中文实体类型识别数据集上的表现如何？
• RQ3 从英文预训练模型进行的跨语言迁移学习在低资源中文实体类型识别任务中能带来多大性能提升？
• RQ4 所提出的10种通用类型层次结构在提升模型泛化能力和下游任务可用性方面有多有效？
• RQ5 预测罕见或低频细粒度类型的主要挑战是什么？如何缓解这些挑战？

主要发现

• 基于BERT的模型优于BiLSTM模型，在通用类型分类任务中F1得分为47.9，而BiLSTM仅为38.2。
• 细粒度类型预测仍具挑战性，F1仅为24.9，尤其对低频类型（如“文化遗产”）表现较差。
• 从英文数据进行迁移学习可提升性能：在英文预训练后微调中文数据，MRR从0.254提升至0.279。
• 模型对高频类型（如“作家”）的精确率（0.87）和召回率（0.72）较高，但对罕见类型表现不佳。
• 语料库包含7,100种唯一实体类型，其中众包子集包含1,300种类型，体现出广泛的覆盖范围和多样性。
• 映射至10种通用类型的层次结构有助于提升模型泛化能力，并支持需要类型分类的下游应用。