[论文解读] Morphological Tagging and Lemmatization of Albanian: A Manually Annotated Corpus and Neural Models

Nelda Kote, Marenglen Biba+3 more|arXiv (Cornell University)|Dec 2, 2019

Natural Language Processing Techniques参考文献 11被引用 7

一句话总结

本论文提出了首个公开可用的阿尔巴尼亚语词性标注与词形标注语料库，包含约118,000个词元的自然文本及67,000个合成训练句。利用Turku神经网络解析器流程，作者训练了神经网络模型，在词性标注上达到92.74%的准确率，词形标注上达到85.31%，词干还原上达到89.95%，为阿尔巴尼亚语提供了基础性的自然语言处理资源，并开放获取数据与模型。

ABSTRACT

In this paper, we present the first publicly available part-of-speech and morphologically tagged corpus for the Albanian language, as well as a neural morphological tagger and lemmatizer trained on it. There is currently a lack of available NLP resources for Albanian, and its complex grammar and morphology present challenges to their development. We have created an Albanian part-of-speech corpus based on the Universal Dependencies schema for morphological annotation, containing about 118,000 tokens of naturally occuring text collected from different text sources, with an addition of 67,000 tokens of artificially created simple sentences used only in training. On this corpus, we subsequently train and evaluate segmentation, morphological tagging and lemmatization models, using the Turku Neural Parser Pipeline. On the held-out evaluation set, the model achieves 92.74% accuracy on part-of-speech tagging, 85.31% on morphological tagging, and 89.95% on lemmatization. The manually annotated corpus, as well as the trained models are available under an open license.

研究动机与目标

• 为解决阿尔巴尼亚语缺乏自然语言处理资源的问题，该语言具有复杂的词形变化且数字工具有限。
• 创建一个高质量、手工标注的语料库，其词形标注符合通用依存语法（Universal Dependencies）标准。
• 基于新创建的语料库，训练并评估阿尔巴尼亚语词形标注与词干还原的神经网络模型。
• 以开放许可发布手工标注的语料库与训练好的模型，供公众与学术界使用。

提出的方法

• 作者从多样化来源收集了约118,000个词元的自然阿尔巴尼亚语文本，并补充了67,000个人工生成的简单句子用于训练。
• 语料库按照通用依存语法标准，对手动标注了词性与词形特征。
• 使用Turku神经网络解析器流程，训练了用于分词、词形标注与词干还原的神经网络模型。
• 通过保留的测试集对模型进行评估，以衡量其在词性标注、词形标注与词干还原任务上的性能。
• 模型训练与评估采用序列到序列框架，结合上下文嵌入与条件随机场（CRF）进行解码。

实验结果

研究问题

• RQ1 在现有资源有限的背景下，神经网络模型在阿尔巴尼亚语的词形标注与词干还原任务上的表现如何？
• RQ2 基于通用依存语义标准的手工标注语料库在训练阿尔巴尼亚语自然语言处理模型方面有多高效？
• RQ3 在阿尔巴尼亚语等低资源环境下，真实数据与合成数据相结合是否能提升模型的泛化能力？
• RQ4 所提出的模型在词性标注、词形标注与词干还原任务上相较于基线方法的性能提升程度如何？

主要发现

• 神经网络模型在词性标注任务上达到92.74%的准确率，显示出在句法分类任务上的优异表现。
• 词形标注准确率达到85.31%，反映出阿尔巴尼亚语丰富的屈折形态带来的挑战。
• 词干还原准确率达到89.95%，表明尽管词形复杂，仍能有效还原词基形式。
• 约118,000个词元的手工标注语料与67,000个合成训练词元共同构成未来阿尔巴尼亚语自然语言处理研究的坚实基础。