[论文解读] FST Based Morphological Analyzer for Hindi Language

Deepak Kumar, Manjeet Singh+1 more|arXiv (Cornell University)|Jul 23, 2012

Natural Language Processing Techniques参考文献 9被引用 12

一句话总结

本文提出了一种基于FST的印地语形态分析器，使用SFST工具构建词根词典，并应用屈折和派生规则生成词形。在使用斯坦福MAXENT标注器的POS标注流程中评估，该系统在已知词上的形态分析准确率达到97%，POS标注准确率达到87%，在未知词上的准确率为80%。

ABSTRACT

Hindi being a highly inflectional language, FST (Finite State Transducer) based approach is most efficient for developing a morphological analyzer for this language. The work presented in this paper uses the SFST (Stuttgart Finite State Transducer) tool for generating the FST. A lexicon of root words is created. Rules are then added for generating inflectional and derivational words from these root words. The Morph Analyzer developed was used in a Part Of Speech (POS) Tagger based on Stanford POS Tagger. The system was first trained using a manually tagged corpus and MAXENT (Maximum Entropy) approach of Stanford POS tagger was then used for tagging input sentences. The morphological analyzer gives approximately 97% correct results. POS tagger gives an accuracy of approximately 87% for the sentences that have the words known to the trained model file, and 80% accuracy for the sentences that have the words unknown to the trained model file.

研究动机与目标

• 使用有限状态转换器（FST）技术，为高度屈折的印地语开发一种高效的形态分析器。
• 构建一个完整的词根词典，并定义规则以生成屈折和派生词形。
• 将形态分析器集成到POS标注流程中，以提高印地语文本的标注准确率。
• 使用人工标注语料库评估形态分析器的性能及其对POS标注的影响。

提出的方法

• 作者使用SFST（斯图加特有限状态转换器）工具实现基于FST的印地语形态分析器。
• 手动编制了词根词典，作为形态生成的基础。
• 定义了屈折和派生规则，利用FST转换从词根词生成各种词形。
• 将形态分析器与使用MAXENT（最大熵）模型的斯坦福POS标注器集成到POS标注系统中。
• 系统在人工标注的印地语文本语料库上进行训练，以学习词与词性标签之间的关联。
• 在POS标注前，通过形态分析器处理输入句子，以提高词形识别能力。

实验结果

研究问题

• RQ1 考虑到印地语的高度屈折复杂性，基于FST的方法在形态分析中的有效性如何？
• RQ2 将形态分析器集成到POS标注中，能在多大程度上提高印地语的标注准确率？
• RQ3 该形态分析器在测试集中对已知词与未知词的性能如何？
• RQ4 与其它FST工具相比，使用SFST在印地语的实现效率和准确率方面表现如何？

主要发现

• 基于FST的形态分析器在正确分析印地词语形方面达到了约97%的准确率。
• 对于模型训练文件中已知的词，POS标注器实现了87%的准确率。
• 对于模型未知的词，POS标注器实现了80%的准确率，表明其对未登录词具有较强的鲁棒性。
• 将形态分析器集成到POS标注流程中，通过提升词形识别能力，显著增强了整体性能。