[论文解读] Building a Lemmatizer and a Spell-checker for Sorani Kurdish

Shahin Salavati, Sina Ahmadi|arXiv (Cornell University)|Sep 27, 2018

Natural Language Processing Techniques参考文献 4被引用 17

一句话总结

本文提出了Peyv（索拉尼库尔德语词形还原工具）和Rênûs（拼写检查工具），二者均为基于形态规则与n-gram语言模型相结合的混合方法开发的自然语言处理基础工具。词形还原工具准确率达到86.7%，拼写检查工具在使用词典时准确率达96.4%，不使用时为87%，显著推进了该低资源语言的自然语言处理发展。

ABSTRACT

The present paper aims at presenting a lemmatization and a word-level error correction system for Sorani Kurdish. We propose a hybrid approach based on the morphological rules and a n-gram language model. We have called our lemmatization and error correction systems Peyv and Rênûs respectively, which are the first tools presented for Sorani Kurdish to the best of our knowledge. The Peyv lemmatizer has shown 86.7% accuracy. As for Rênûs, using a lexicon, we have obtained 96.4% accuracy while without a lexicon, the correction system has 87% accuracy. As two fundamental text processing tools, these tools can pave the way for further researches on more natural language processing applications for Sorani Kurdish.

研究动机与目标

• 开发首个针对索拉尼库尔德语的词形还原与拼写检查工具，该语言为低资源且形态复杂的语言。
• 通过构建稳健的基于规则与统计相结合的系统，解决库尔德语NLP工具匮乏的问题。
• 通过准确的词形归一化与错误纠正，提升索拉尼库尔德语下游NLP应用的性能。
• 评估词典使用与n-gram频率过滤对拼写检查性能的影响。

提出的方法

• 结合索拉尼库尔德语的形态规则与基于1800万词Pewan语料库训练的n-gram语言模型的混合方法。
• Peyv中的词形还原利用形态规则将屈折与派生形式还原为基本词形（词基）。
• Rênûs中的拼写检查利用n-gram语言模型，根据频率与上下文对候选修正结果进行排序。
• 集成包含标记名词与动词的词典，以提升对词汇错误的修正准确率。
• 系统采用加权评分函数（公式1），通过参数α平衡词频与编辑距离。
• 过滤低频n-gram以提升系统效率与准确率。

实验结果

研究问题

• RQ1 结合形态规则与n-gram语言模型的混合系统能否有效实现索拉尼库尔德语的词形还原？
• RQ2 在索拉尼库尔德语中，引入词典在多大程度上能提升拼写检查的准确率？
• RQ3 对n-gram进行频率过滤如何影响拼写检查系统的性能？
• RQ4 在加权修正评分函数中，参数α的最优值是多少，可使准确率达到最高？

主要发现

• Peyv词形还原工具准确率达到86.7%，多数错误源于拼写错误影响词基提取。
• Rênûs拼写检查工具在使用词典时准确率达96.4%，表明词汇知识具有显著优势。
• 不使用词典时，Rênûs在4,5-gram模型下仍达到87%准确率，表明在纯统计设置下性能依然出色。
• 过滤低频n-gram提升了系统准确率，其中4,5-gram模型在无词典条件下表现最佳，准确率达87%。
• 评分函数中的参数α具有可测量影响，较高值（如α=100）在4,5-gram配置下可实现85.4%的准确率。
• 本研究证实，词形还原质量直接影响拼写检查性能，错误的词形还原会导致错误的修正结果。