[论文解读] Application of a Hybrid Bi-LSTM-CRF model to the task of Russian Named Entity Recognition

Le Thi Ngoc Anh, Mikhail Arkhipov+1 more|arXiv (Cornell University)|Sep 27, 2017

Topic Modeling参考文献 11被引用 9

一句话总结

本文提出了一种结合外部 FastText 词嵌入的混合 Bi-LSTM-CRF 模型，用于俄语命名实体识别（NER），实现了最先进性能。该模型利用双向 LSTMs 进行上下文序列建模，结合 CRF 实现序列级标注，预训练的 Lenta 语料库词嵌入显著提升了准确率并减少了在三个俄语 NER 数据集上的训练时间。

ABSTRACT

Named Entity Recognition (NER) is one of the most common tasks of the natural language processing. The purpose of NER is to find and classify tokens in text documents into predefined categories called tags, such as person names, quantity expressions, percentage expressions, names of locations, organizations, as well as expression of time, currency and others. Although there is a number of approaches have been proposed for this task in Russian language, it still has a substantial potential for the better solutions. In this work, we studied several deep neural network models starting from vanilla Bi-directional Long Short-Term Memory (Bi-LSTM) then supplementing it with Conditional Random Fields (CRF) as well as highway networks and finally adding external word embeddings. All models were evaluated across three datasets: Gareev's dataset, Person-1000, FactRuEval-2016. We found that extension of Bi-LSTM model with CRF significantly increased the quality of predictions. Encoding input tokens with external word embeddings reduced training time and allowed to achieve state of the art for the Russian NER task.

研究动机与目标

• 评估深度神经网络模型在俄语命名实体识别（NER）中的有效性。
• 研究 CRF 层集成、高速公路网络以及外部词嵌入对俄语 NER 性能的影响。
• 在三个基准俄语 NER 数据集（Gareev、Persons-1000 和 FactRuEval-2016）上比较多种模型变体。
• 通过结合预训练嵌入的混合 Bi-LSTM-CRF 架构，为俄语 NER 建立最先进基线。

提出的方法

• 采用双向长短期记忆网络（Bi-LSTM）对序列中每个词元的左右上下文进行编码。
• 在 Bi-LSTM 上集成条件随机场（CRF）层，以建模标签依赖关系并提高序列标注准确率。
• 使用在 Lenta 语料库上训练的 FastText 词嵌入，提供预训练的分布式词表示，增强语义理解。
• 在基线模型基础上，分别在字符和词级别引入高速公路网络，以提升特征学习能力和模型表达能力。
• 使用三个俄语 NER 数据集（Gareev、Persons-1000 和 FactRuEval-2016）进行模型训练与评估，采用标准评估指标。
• 应用共享嵌入层的词级别和字符级别嵌入，并使用 dropout 进行正则化以防止过拟合。

实验结果

研究问题

• RQ1 在俄语文本中，向 Bi-LSTM 模型添加 CRF 层是否能显著提升 NER 性能？
• RQ2 来自 FastText 的预训练外部词嵌入在多大程度上能提升 Bi-LSTM-CRF 模型在俄语 NER 中的性能与训练效率？
• RQ3 在字符和词级别应用高速公路网络对 Bi-LSTM-CRF 架构在俄语 NER 中的性能有何影响？
• RQ4 所提出的结合外部嵌入的混合 Bi-LSTM-CRF 模型是否能在多个俄语 NER 基准上实现最先进结果？

主要发现

• Bi-LSTM + CRF 模型优于原始 Bi-LSTM 模型，表明 CRF 层集成能显著提升俄语 NER 中的序列标注准确率。
• 添加在 Lenta 语料库上预训练的 FastText 词嵌入显著减少了训练时间，并在 Gareev 和 Persons-1000 数据集上实现了最先进性能。
• Bi-LSTM + CRF + Lenta 嵌入模型在 Gareev 和 Persons-1000 数据集上取得了最高的 F1 分数，优于此前发表的模型。
• 基于 NeuroNER 的高速公路网络模型表现参差不齐：字符级别高速公路网络略微提升了性能，但词级别和联合网络导致性能下降。
• 在 FactRuEval-2016 数据集上，Bi-LSTM+CRF+Lenta 和 NeuroNER 模型的表现优于以往模型，但不及文献中报道的基于 SVM 的系统。
• 本研究证实，与早期俄语 NER 系统中使用的手动特征工程相比，联合训练词级别和字符级别 Bi-LSTM 表示并结合 CRF 更为有效。