[论文解读] Error-tolerant Finite State Recognition with Applications to Morphological Analysis and Spelling Correction

Kemal Oflazer|ArXiv.org|Apr 29, 1995

Natural Language Processing Techniques参考文献 25被引用 174

一句话总结

本文提出了一种高效容错的有限状态识别算法，通过在状态图上进行受控的深度优先搜索，使有限状态转换器能够识别与有效形式略有偏差的字符串。该方法在土耳其语拼写纠错中实现亚20毫秒的候选生成速度，在欧洲语言中则低于45毫秒，适用于大量屈折词表的形态分析与拼写纠错应用，表现出极高的效率。

ABSTRACT

Error-tolerant recognition enables the recognition of strings that deviate mildly from any string in the regular set recognized by the underlying finite state recognizer. Such recognition has applications in error-tolerant morphological processing, spelling correction, and approximate string matching in information retrieval. After a description of the concepts and algorithms involved, we give examples from two applications: In the context of morphological analysis, error-tolerant recognition allows misspelled input word forms to be corrected, and morphologically analyzed concurrently. We present an application of this to error-tolerant analysis of agglutinative morphology of Turkish words. The algorithm can be applied to morphological analysis of any language whose morphology is fully captured by a single (and possibly very large) finite state transducer, regardless of the word formation processes and morphographemic phenomena involved. In the context of spelling correction, error-tolerant recognition can be used to enumerate correct candidate forms from a given misspelled string within a certain edit distance. Again, it can be applied to any language with a word list comprising all inflected forms, or whose morphology is fully described by a finite state transducer. We present experimental results for spelling correction for a number of languages. These results indicate that such recognition works very efficiently for candidate generation in spelling correction for many European languages such as English, Dutch, French, German, Italian (and others) with very large word lists of root and inflected forms (some containing well over 200,000 forms), generating all candidate solutions within 10 to 45 milliseconds (with edit distance 1) on a SparcStation 10/41. For spelling correction in Turkish, error-tolerant

研究动机与目标

• 开发一种实用方法，用于识别在正则语言中与有效形式略有偏差的字符串。
• 通过有限状态转换器实现在拼写纠错与形态分析中的并行处理。
• 支持具有复杂黏着性或屈折形态语言的容错处理。
• 为拼写纠错系统中的候选生成提供可扩展、高性能的解决方案。
• 将有限状态识别扩展至处理现实世界输入错误，如替换、插入、删除和换位。

提出的方法

• 在现有有限状态识别器的状态图上使用深度优先搜索算法，探索编辑距离上限内的路径。
• 采用编辑距离作为误差度量，定义为将一个字符串转换为另一个字符串所需的最少插入、删除、替换和换位操作次数。
• 将该算法应用于建模完整屈折范式的有限状态转换器，实现纠错与分析的同步处理。
• 通过剪枝冗余路径并避免对等价状态的重复处理，优化识别性能。
• 使用循环识别器处理土耳其语，以应对黏着性形态并支持高效的候选枚举。
• 在后处理中集成语言特定启发式规则，以减少非ASCII字符替换带来的噪声。

实验结果

研究问题

• RQ1 有限状态转换器能否高效识别并纠正处于指定编辑距离内的拼写错误词形？
• RQ2 容错识别在土耳其语等黏着性语言的形态分析中效果如何？
• RQ3 在欧洲语言中，对大型屈折词表进行容错识别的性能开销如何？
• RQ4 该方法能否扩展至包含数万个状态和转移的大型有限状态机？
• RQ5 在拼写纠错方面，该算法与现有方法相比在速度和准确率上表现如何？

主要发现

• 对于拥有超过20万个屈折形式的欧洲语言，该算法在编辑距离为1时，所有正确候选形式的生成时间在10至45毫秒之间。
• 对于土耳其语，使用包含28,825个状态和118,352条转移的识别器，纠错时间低于20毫秒。
• 在一次真实世界测试中，79.6%的拼写错误土耳其语词的编辑距离为1，15.0%为2，5.4%为3或以上。
• 平均每项纠错提供的候选数为4.29个，平均仅遍历了3.62%的搜索空间。
• 当用作标准拼写检查器（编辑距离为0）时，系统每秒可处理500个正确词形。
• 即使在大型复杂形态系统中，该方法依然保持高效，具备在真实世界应用中部署的可行性。