[论文解读] Levenshtein Distance Technique in Dictionary Lookup Methods: An Improved Approach

Rishin Haldar, Debajyoti Mukhopadhyay|arXiv (Cornell University)|Jan 6, 2011

Natural Language Processing Techniques参考文献 6被引用 74

一句话总结

本文提出了一种增强的Levenshtein距离技术，用于光学字符识别（OCR）系统中的字典查找，通过将视觉上相似的字符分组，并在每组内应用加权差异。该方法减少了模糊字符识别中的误报，显著提高了传统Levenshtein距离的准确性，且未增加计算开销，如在测试数据集上展示的可测量性能提升所示。

ABSTRACT

Dictionary lookup methods are popular in dealing with ambiguous letters which were not recognized by Optical Character Readers. However, a robust dictionary lookup method can be complex as apriori probability calculation or a large dictionary size increases the overhead and the cost of searching. In this context, Levenshtein distance is a simple metric which can be an effective string approximation tool. After observing the effectiveness of this method, an improvement has been made to this method by grouping some similar looking alphabets and reducing the weighted difference among members of the same group. The results showed marked improvement over the traditional Levenshtein distance technique.

研究动机与目标

• 解决OCR系统中因错误率过高而导致标准字典查找方法失效的模糊字符识别挑战。
• 降低字典基础字符串匹配在OCR应用中的计算成本，同时提高准确性。
• 开发一种轻量级、高效的改进方法，通过引入字符间的视觉相似性来增强Levenshtein距离。
• 通过聚类建模字符间的感知相似性，最小化字典查找中的误报。

提出的方法

• 作者根据视觉相似性将视觉上相似的字符（例如 'O' 和 '0'、'B' 和 '8'）分组为簇。
• 应用加权Levenshtein距离，其中同一组内字符之间的替换成本低于不同组字符之间的成本。
• 通过为组内字符对分配更低的替换成本，修改标准Levenshtein算法，以反映其误识别的可能性。
• 该方法保留了Levenshtein距离的核心动态规划结构，但引入了上下文感知的替换成本矩阵。
• 在已知真实标签的OCR识别字符串测试集上评估改进算法，以衡量其准确性和效率。

实验结果

研究问题

• RQ1 将视觉上相似的字符分组是否能降低OCR字典查找中的错误率？
• RQ2 在字符簇内应用加权替换成本是否能提高匹配准确性，相比标准Levenshtein距离？
• RQ3 所提出的方法是否能在提升识别性能的同时保持低计算成本？
• RQ4 加权Levenshtein方法在减少模糊字符字符串误报方面有多有效？

主要发现

• 与标准Levenshtein距离方法相比，所提出的方法显著减少了误报匹配。
• 加权Levenshtein技术通过降低视觉上相似字符替换的影响，提高了匹配准确性。
• 该方法保持了低计算开销，适用于实时OCR应用。
• 结果表明字典查找性能明显提升，特别是在常见OCR错误（如 'O' 与 '0' 或 'B' 与 '8'）的情况下。