[论文解读] Build Fast and Accurate Lemmatization for Arabic

Hamdy Mubarak|arXiv (Cornell University)|Oct 18, 2017

Advanced Text Analysis Techniques参考文献 4被引用 11

一句话总结

本文提出了一种快速且准确的阿拉伯语词形还原系统，该系统利用词汇的最常见带符号形式与形态分析进行匹配，实现了97.32%的准确率——比MADAMIRA高出7%——同时在不到2分钟内处理了740万词，速度是MADAMIRA的75倍。作者发布了新的公开测试数据集，并开源了Java代码，以确保研究可复现。

ABSTRACT

In this paper we describe the complexity of building a lemmatizer for Arabic which has a rich and complex derivational morphology, and we discuss the need for a fast and accurate lammatization to enhance Arabic Information Retrieval (IR) results. We also introduce a new data set that can be used to test lemmatization accuracy, and an efficient lemmatization algorithm that outperforms state-of-the-art Arabic lemmatization in terms of accuracy and speed. We share the data set and the code for public.

研究动机与目标

• 为阿拉伯语这种具有丰富派生形态的语言，解决缺乏开源、高准确率词形还原工具的问题。
• 通过实现基于词素的索引，提升召回率和精确率，从而改进阿拉伯语文档检索（IR）系统。
• 开发一种在速度和准确率方面均优于当前最先进工具的词形还原系统。
• 提供一个公开可用的高质量测试数据集和开源代码，以支持阿拉伯语自然语言处理研究的可复现性。

提出的方法

• 系统从语料库中选取每个词的最常见带符号形式，并将其与相似度得分最高的形态分析进行匹配。
• 使用Buckwalter形态分析器为每个词生成所有可能的带符号形式、分词结果、词性标注和词根。
• 通过形式对齐并根据频率和使用情况调整词根顺序，解决语料库与Buckwalter之间带符号形式的歧义。
• 该算法优先选择最常见的带符号形式，忽略上下文信息，以降低复杂度并提升处理速度。
• 针对带符号形式相同但词根不同的词语（例如“syArp”可能表示“car”或“walker”），采用基于频率的消歧策略。
• 实现为纯Java系统，无外部依赖，可轻松集成到其他自然语言处理流水线中。

实验结果

研究问题

• RQ1 词形还原系统能否在阿拉伯语上实现比现有最先进工具（如MADAMIRA）更高的准确率？
• RQ2 词形还原系统能否在保持高准确率的同时，显著快于当前系统？
• RQ3 是否可行将词语的最常见带符号形式作为词根选择的代理，而无需依赖上下文？该方法的准确率如何？
• RQ4 是否可以通过发布新的公开可用测试数据集，提升阿拉伯语词形还原研究的可复现性和基准测试水平？

主要发现

• 所提出的词形还原系统在新的WikiNews测试集上达到97.32%的准确率，相比MADAMIRA的96.61%相对提升了7%。
• 该系统在约2分钟内处理了740万词，处理速度是MADAMIRA的75倍（MADAMIRA处理相同任务需2.5小时）。
• 系统性能的主要瓶颈在于名词和形容词的带符号形式存在歧义，例如“AkAdymyp”可能表示“academy”或“academic”。
• 作者发现，词性标注错误和外来词变体是其系统与MADAMIRA系统中常见的错误来源。
• 已公开发布由70篇阿拉伯语文新文章（涵盖7种体裁）组成的18,300个词的测试数据集，可实现阿拉伯语词形还原系统的标准化评估。
• 开源的Java代码已发布，且无外部依赖，便于集成到现有的自然语言处理与信息检索流水线中。