[论文解读] HiNER: A Large Hindi Named Entity Recognition Dataset

Rudra Murthy, Pallab Bhattacharjee+4 more|arXiv (Cornell University)|Apr 28, 2022

Topic Modeling被引用 10

一句话总结

本文介绍了HiNER，一个大规模、人工标注的印地语命名实体识别（NER）数据集，包含109,146个句子和220万个词符，标注了11种实体类型。通过在HiNER上微调XLM-RoBERTa-large模型，作者取得了88.78的加权F1分数，展示了印地语NER的最先进性能，并填补了低资源印度语言自然语言处理资源中的关键空白。

ABSTRACT

Named Entity Recognition (NER) is a foundational NLP task that aims to provide class labels like Person, Location, Organisation, Time, and Number to words in free text. Named Entities can also be multi-word expressions where the additional I-O-B annotation information helps label them during the NER annotation process. While English and European languages have considerable annotated data for the NER task, Indian languages lack on that front -- both in terms of quantity and following annotation standards. This paper releases a significantly sized standard-abiding Hindi NER dataset containing 109,146 sentences and 2,220,856 tokens, annotated with 11 tags. We discuss the dataset statistics in all their essential detail and provide an in-depth analysis of the NER tag-set used with our data. The statistics of tag-set in our dataset show a healthy per-tag distribution, especially for prominent classes like Person, Location and Organisation. Since the proof of resource-effectiveness is in building models with the resource and testing the model on benchmark data and against the leader-board entries in shared tasks, we do the same with the aforesaid data. We use different language models to perform the sequence labelling task for NER and show the efficacy of our data by performing a comparative evaluation with models trained on another dataset available for the Hindi NER task. Our dataset helps achieve a weighted F1 score of 88.78 with all the tags and 92.22 when we collapse the tag-set, as discussed in the paper. To the best of our knowledge, no available dataset meets the standards of volume (amount) and variability (diversity), as far as Hindi NER is concerned. We fill this gap through this work, which we hope will significantly help NLP for Hindi. We release this dataset with our code and models at https://github.com/cfiltnlp/HiNER

研究动机与目标

• 为解决印地语这一低资源印度语言缺乏大规模、高质量、人工标注的NER数据集的问题。
• 克服印地语NER中的挑战，如缺乏大小写区分、词汇歧义、拼写变体以及自由词序等问题。
• 创建一个标准化、多样化且可扩展的数据集，以支持深度学习模型在印地语NER任务中的稳健训练。
• 发布该数据集、标注工具和微调后的模型，以加速印地语NLP的研究。
• 通过提供高质量、符合标准的数据集，为未来印地语NLP模型建立基准。

提出的方法

• 该数据集通过多阶段标注流程创建，由一名专家标注员参与，初始标注由自定义后端NER引擎支持。
• 标注工具支持I/O-B标注格式，并支持对模型预测标签的后期编辑，从而提高标注效率和准确性。
• NER标签集包含11种类别：Person（人名）、Location（地点）、Organization（组织）、Number（数字）、Time（时间）、Date（日期）、Money（金钱）、Percent（百分比）、Title（头衔）、Misc（其他）、Language（语言）。
• 作者在HiNER数据集上对多种预训练多语言语言模型（包括XLM-RoBERTa-large）进行了微调，以执行序列标注任务。
• 评估采用严格的和精确的F1指标，并按实体类型进行错误分析，以评估模型行为。
• 该数据集以CC-BY-SA 4.0协议发布，包含代码和训练好的模型，以支持可复现性及下游研究。

实验结果

研究问题

• RQ1 与较小规模或自动标注的数据集相比，大规模人工标注的印地语NER数据集是否能显著提升模型性能？
• RQ2 HiNER中实体类型的分布与现有印地语NER数据集相比，在平衡性和覆盖范围方面如何？
• RQ3 当在HiNER上微调时，SOTA多语言模型（如XLM-RoBERTa-large）在印地语NER任务上的泛化能力如何？
• RQ4 模型在HiNER上会产生哪些类型的错误？哪些实体类型最难识别？
• RQ5 将标签集合并为更宽泛的类别是否能提升整体F1性能？如果是，提升幅度是多少？

主要发现

• HiNER包含109,146个句子和2,220,856个词符，11种实体类型分布均衡，尤其在Person、Location和Organization类别上表现突出。
• 在HiNER上微调XLM-RoBERTa-large模型后，所有11个标签的加权F1分数达到88.78，显著优于在小规模或银标准数据集上训练的模型。
• 当将标签集合并为更宽泛的类别后，F1分数提升至92.22，表明减少粒度可提升性能。
• 最具有挑战性的实体类型为Literature（文学）、Festival（节日）、MISC（其他）、Language（语言）、Religion（宗教）和Game（游戏），在严格评估下F1分数均低于0.70。
• 虚假错误（spurious errors）最高出现在Person、MISC、Language、Game和TIMEX类别，而漏检错误（missed errors）则主要集中在Location、NUMEX和Organization类别。
• 错误分析显示，边界对齐错误和类型误分类是性能下降的主要原因，尤其在罕见或模糊的实体上更为明显。