[论文解读] Improving Named Entity Recognition by Jointly Learning to Disambiguate Morphological Tags

Onur Güngör, Suzan Üsküdarlı+1 more|arXiv (Cornell University)|Jul 17, 2018

Topic Modeling参考文献 37被引用 15

一句话总结

本文提出一种联合学习框架，同时训练命名实体识别（NER）与词素消歧（MD），以消除对形态丰富语言外部MD工具的依赖。通过使用候选词素分析作为输入，联合优化两项任务，该模型在NER上达到具有竞争力的性能——F1值达83.21，同时其消歧器准确率达到88.05%，表明联合学习在不牺牲MD质量的前提下提升了NER性能。

ABSTRACT

Previous studies have shown that linguistic features of a word such as possession, genitive or other grammatical cases can be employed in word representations of a named entity recognition (NER) tagger to improve the performance for morphologically rich languages. However, these taggers require external morphological disambiguation (MD) tools to function which are hard to obtain or non-existent for many languages. In this work, we propose a model which alleviates the need for such disambiguators by jointly learning NER and MD taggers in languages for which one can provide a list of candidate morphological analyses. We show that this can be done independent of the morphological annotation schemes, which differ among languages. Our experiments employing three different model architectures that join these two tasks show that joint learning improves NER performance. Furthermore, the morphological disambiguator's performance is shown to be competitive.

研究动机与目标

• 消除在形态丰富语言中NER对外部词素消歧工具的依赖。
• 通过联合学习词素标注与命名实体识别，提升NER性能。
• 开发一种可在不同词素标注方案间通用、无需语言特定重新配置的模型。
• 证明联合训练即使在词素消歧准确率未直接提升的情况下，仍可增强NER性能。

提出的方法

• 该模型通过共享词表示和共享隐藏层，联合训练命名实体识别器与词素消歧器。
• 候选词素分析作为输入，模型在训练过程中学习选择正确分析。
• 评估了三种模型架构：joint1（早期融合）、joint2（中期融合）和j_multi（多层Bi-LSTM与晚期融合）。
• 模型使用Bi-LSTM层编码上下文信息，并通过CRF层实现NER的序列解码。
• 联合训练过程同时优化NER与MD目标，底层参数共享。
• 由于计算资源限制，未使用预训练词嵌入，且实验结果基于10次随机初始化的平均值以减少方差。

实验结果

研究问题

• RQ1 联合学习NER与词素消歧是否能在不依赖外部MD工具的情况下提升NER性能？
• RQ2 所提出的联合模型在词素消歧准确率方面是否达到与最先进MD系统相当的水平？
• RQ3 联合模型在NER上的性能与使用标准词素特征的模型相比如何？
• RQ4 即使MD准确率未提升，联合学习是否仍能带来NER性能的增益？
• RQ5 该模型是否能在无需重新配置的情况下，泛化至不同的词素标注方案？

主要发现

• j_multi模型达到最高的NER F1值83.21，优于独立NER模型（81.07），并接近使用标准词素特征模型的性能（83.47）。
• 与其它联合模型相比，采用多层Bi-LSTM的联合模型（j_multi）在Welch t检验比较中表现出统计显著提升（p < .05）。
• j_multi模型的词素消歧准确率达到88.05%，与最先进MD系统相比具有竞争力。
• 与独立MD模型相比，联合训练并未显著提升MD准确率，最佳独立MD模型在另一测试集上达到91.03%的准确率。
• NER性能的提升并非源于模型规模增大，因参数量仅增加2%。
• 联合模型在NER性能上与使用标准词素特征的模型相当，表明联合学习可有效替代外部消歧工具。