[论文解读] CAp 2017 challenge: Twitter Named Entity Recognition

Cédric Lopez, Ioannis Partalas+6 more|arXiv (Cornell University)|Jul 24, 2017

Topic Modeling被引用 11

一句话总结

本论文介绍了CAp 2017挑战赛，这是一个针对法语Twitter命名实体识别（NER）的基准测试，包含约6,000条标注过的推文，涵盖13种实体类型。该研究发布了一个公开可用的数据集，并对8种基于深度学习和CRF的方法进行了评估，表现最佳的系统在CRF模型上通过高质量的特征工程，取得了58.59的F1分数。

ABSTRACT

The paper describes the CAp 2017 challenge. The challenge concerns the problem of Named Entity Recognition (NER) for tweets written in French. We first present the data preparation steps we followed for constructing the dataset released in the framework of the challenge. We begin by demonstrating why NER for tweets is a challenging problem especially when the number of entities increases. We detail the annotation process and the necessary decisions we made. We provide statistics on the inter-annotator agreement, and we conclude the data description part with examples and statistics for the data. We, then, describe the participation in the challenge, where 8 teams participated, with a focus on the methods employed by the challenge participants and the scores achieved in terms of F$_1$ measure. Importantly, the constructed dataset comprising $\sim$6,000 tweets annotated for 13 types of entities, which to the best of our knowledge is the first such dataset in French, is publicly available at \url{http://cap2017.imag.fr/competition.html} .

研究动机与目标

• 创建一个公开可用的法语推文命名实体识别（NER）基准测试，该领域现有资源有限。
• 应对在短文本、非正式且嘈杂的社交媒体文本中进行NER的挑战，特别是针对大量实体类型的情况。
• 通过提供一个规模与现有英文基准相当的参考数据集，推动多语言自然语言处理研究。
• 在低资源、嘈杂的文本领域中，评估包括深度学习和基于CRF的系统在内的多样化NER方法。
• 通过允许使用外部数据和资源，促进迁移学习和领域自适应研究。

提出的方法

• 数据集通过Twitter的公开API构建，由具备NER经验的法语母语者手动标注。
• 标注遵循严格指南，定义了13种子类型：person（人物）、musicartist（音乐人）、organisation（组织）、geoloc（地理定位）、product（产品）、transportLine（交通工具线路）、media（媒体）、sportsteam（运动队）、event（事件）、tvshow（电视剧）、movie（电影）、facility（设施）和other（其他）。
• 数据集被划分为训练集（4,000条推文）和测试集（2,685条推文），标注者间一致性经测量达到0.786的F1分数。
• 参赛者采用了多种方法，包括双向GRU、结合手工特征的CRF，以及从英文推文进行迁移学习。
• 特征工程包括词形句法、词汇、句法和分布表示，部分系统使用了词嵌入和字符级CNN。
• 评估采用微平均F1分数作为官方指标，报告了所有系统在精确率、召回率和F1分数方面的结果。

实验结果

研究问题

• RQ1 在推文等短文本、非正式文本中，高实体类型多样性对NER性能有何影响？
• RQ2 在低资源、嘈杂的文本环境中，基于CRF且经过大量特征工程的模型与深度神经网络相比表现如何？
• RQ3 从英文NER系统进行迁移学习在多大程度上能提升法语推文NER的性能？
• RQ4 在低资源环境下，引入外部数据和资源在多大程度上影响系统性能？
• RQ5 在嘈杂的社交媒体文本中，针对复杂且多类型的NER任务，可达到的标注者间一致性水平如何？

主要发现

• CAp 2017挑战赛发布了首个公开可用的法语推文NER数据集，包含约6,000条推文和13种实体类型，使其成为法语自然语言处理的参考基准。
• 表现最佳的系统SPMdC17通过结合CRF与高质量的词形句法、分布表示和词聚类特征，取得了58.59的F1分数。
• 第二名系统GMH17采用双向GRU与CRF结合，同样取得58.59的F1分数，表明在深度学习方法中，较少的特征工程也能实现优异性能。
• 仅15.7%的命名实体在训练集和测试集之间共享，表明存在显著的数据分布偏移，对泛化能力构成高挑战。
• Lattice系统实现了最高的精确率（78.76），但召回率极低（31.95），凸显了精确率与召回率之间的权衡。
• 最低F1分数为21.28（Geolsemantics），表明各系统间性能差异显著，尤其是在处理罕见或模糊实体时。