[论文解读] Beheshti-NER: Persian Named Entity Recognition Using BERT

Ehsan Taher, Seyed Abbas Hoseini+1 more|arXiv (Cornell University)|Mar 19, 2020

Topic Modeling参考文献 15被引用 25

一句话总结

本文提出 Beheshti-NER，一种基于 BERT 并通过 CRF 层微调的波斯语命名实体识别（NER）模型，在 Peyma 数据集上实现了最先进性能。该模型在 NSURL-2019 NER 竞赛中获得第二名，使用 CONLL 2003 评分方案，在词级别评估中达到 88.4% 的 F1 分数，在短语级别评估中达到 83.5% 的 F1 分数。

ABSTRACT

Named entity recognition is a natural language processing task to recognize and extract spans of text associated with named entities and classify them in semantic Categories. Google BERT is a deep bidirectional language model, pre-trained on large corpora that can be fine-tuned to solve many NLP tasks such as question answering, named entity recognition, part of speech tagging and etc. In this paper, we use the pre-trained deep bidirectional network, BERT, to make a model for named entity recognition in Persian. We also compare the results of our model with the previous state of the art results achieved on Persian NER. Our evaluation metric is CONLL 2003 score in two levels of word and phrase. This model achieved second place in NSURL-2019 task 7 competition which associated with NER for the Persian language. our results in this competition are 83.5 and 88.4 f1 CONLL score respectively in phrase and word level evaluation.

研究动机与目标

• 通过利用迁移学习进行命名实体识别，解决波斯语低资源自然语言处理的挑战。
• 通过利用具有上下文嵌入的预训练 BERT 架构，改进现有的波斯语 NER 模型。
• 证明 BERT 微调结合 CRF 在波斯语等低资源语言上的有效性。
• 通过迁移学习方法在 Peyma 和 Arman 数据集上实现最先进结果。

提出的方法

• 在大规模波斯语语料上微调多语言 BERT 模型，以生成上下文相关的标记嵌入。
• 将 BERT 与条件随机场（CRF）层结合，以建模标签依赖关系并提高序列标注的准确性。
• 使用标准 NER 标签集在 Peyma 和 Arman 数据集上端到端训练模型。
• 对词级别和短语级别的 F1 分数均采用 CONLL 2003 评估指标。
• 通过使用预训练 BERT 权重初始化并微调标注的波斯语 NER 数据，应用迁移学习。
• 在领域内和领域外测试集上进行实验，以评估模型的鲁棒性。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，通过 CRF 微调的预训练 BERT 模型能否在波斯语 NER 上实现最先进性能？
• RQ2 与使用双向 LSTM 的 CRF 等先前方法相比，BERT-CRF 模型在波斯语 NER 基准上的表现如何？
• RQ3 波斯语 NER 模型在领域内和领域外测试集之间的性能差距是多少？
• RQ4 通过 BERT 实现的迁移学习是否显著提升了低资源自然语言处理任务（如波斯语 NER）的性能？
• RQ5 不同实体类别（如人名、地点、时间）对 Peyma 数据集上模型性能有何影响？

主要发现

• Beheshti-NER 模型在 NSURL-2019 NER 竞赛中实现了词级别 88.4% 的 F1 分数和短语级别 83.5% 的 F1 分数。
• 该模型在竞赛中总排名第二，在 Peyma 数据集上超越了先前的最先进方法。
• 表现最好的类别是 'Percent'，其短语级别 F1 达到 91.6%；而 'Time' 是最具挑战性的类别，F1 为 75.8%。
• 该模型表现出良好的泛化能力，在领域内测试中达到 84.2% 的 F1 分数，在领域外测试中达到 83.0% 的短语级别 F1 分数。
• BERT-CRF 架构显著优于基线模型，包括使用双向 LSTM 的 CRF 和基于规则的系统。
• 结果证实，通过微调和 CRF 解码的预训练 BERT 是波斯语低资源自然语言处理任务的高效解决方案。