[论文解读] Good parts first - a new algorithm for approximate search in lexica and string databases

Stefan Gerdjikov, Stoyan Mihov+2 more|arXiv (Cornell University)|Jan 4, 2013

Algorithms and Data Compression参考文献 21被引用 5

一句话总结

本文提出了一种新颖的近似字符串搜索算法，用于词典和字符串数据库，优先匹配子串的精确匹配部分（'good parts'），然后逐步增加容错能力进行扩展。通过使用对称紧凑有向无环单词图（SCDAWG）实现双向子串访问，该方法避免了传统从左到右搜索的'墙效应'，显著提升了速度——尤其在长字符串和较高容错边界下表现突出，在实验中接近理论最优效率。

ABSTRACT

We present a new efficient method for approximate search in electronic lexica. Given an input string (the pattern) and a similarity threshold, the algorithm retrieves all entries of the lexicon that are sufficiently similar to the pattern. Search is organized in subsearches that always start with an exact partial match where a substring of the input pattern is aligned with a substring of a lexicon word. Afterwards this partial match is extended stepwise to larger substrings. For aligning further parts of the pattern with corresponding parts of lexicon entries, more errors are tolerated at each subsequent step. For supporting this alignment order, which may start at any part of the pattern, the lexicon is represented as a structure that enables immediate access to any substring of a lexicon word and permits the extension of such substrings in both directions. Experimental evaluations of the approximate search procedure are given that show significant efficiency improvements compared to existing techniques. Since the technique can be used for large error bounds it offers interesting possibilities for approximate search in special collections of "long" strings, such as phrases, sentences, or book ti

研究动机与目标

• 为解决近似字符串搜索中的'墙效应'，即初始从左到右对齐并设置容错边界时，Trie或自动机中对前缀进行过度且无成效的探索。
• 实现在大型词典和字符串数据库中高效进行近似搜索，特别是针对长字符串（如短语、句子或标题），传统方法在此类场景下速度过慢。
• 设计一种词典索引结构，支持对任意子串的即时访问以及双向确定性扩展，从而支持灵活的对齐策略。
• 通过最小化不必要的搜索路径，同时确保不遗漏任何有效匹配，实现接近理论最小值的性能。

提出的方法

• 该算法首先使用对称紧凑有向无环单词图（SCDAWG）识别输入模式中所有与词典条目子串完全匹配的子串——即'good parts'。
• 每个精确匹配随后在左右两个方向逐步扩展，每一步扩展时容错容忍度递增，直至达到用户定义的容错上限b。
• SCDAWG支持在两个方向上对子串进行确定性遍历与扩展，提供O(1)的转移代价，并可直接访问词典单词中的任意子串。
• 搜索策略根据精确匹配的位置动态选择对齐起始点，避免了经典方法中对前缀的穷举探索。
• 该方法可与现有过滤技术（如通用Levenshtein自动机）集成，尤其在小容错边界下进一步提升性能。
• 索引结构通过在搜索早期阶段显著减少候选路径数量，从而实现对长字符串集合的高效近似搜索。

实验结果

研究问题

• RQ1 基于子串的搜索策略，若从精确匹配开始，是否能显著缩小近似字符串匹配的搜索空间？
• RQ2 与经典从左到右对齐方法相比，'good parts first'方法在速度和完备性方面表现如何？
• RQ3 像SCDAWG这样的双向索引结构在多大程度上能缓解近似字符串搜索中的'墙效应'？
• RQ4 该方法在高容错边界和长字符串（如句子或标题）场景下是否具备高效可扩展性？
• RQ5 与其它索引结构（如后缀数组）相比，使用SCDAWG对时间与空间效率有何影响？

主要发现

• 所提出的算法在高容错边界和长字符串场景下，相较于经典从左到右搜索及以往双向方法，实现了显著的速度提升。
• 当容错边界b=2时，该方法接近理论性能极限，表明其在实际应用中接近最优效率。
• 该方法在性能上优于现有技术（如Levenshtein自动机和BLASTA），尤其在容错边界较大时，BLASTA可能无法检索到所有有效匹配。
• 实验结果表明，在长字符串集合（如书名或句子）中，性能得到显著提升，而传统方法在此类场景下速度过慢。
• SCDAWG的使用实现了高效的双向遍历，具有O(1)的转移代价，优于具有O(log|Σ|/log log|D| + 1)代价的压缩后缀数组结构。
• 该算法在保持完备性（不遗漏任何有效匹配）的同时，通过战略性地利用精确子串匹配，大幅减少了探索的搜索路径数量。