[论文解读] A Fast Generic Sequence Matching Algorithm

David R. Musser, Gor V. Nishanov|ArXiv.org|Oct 1, 2008

Algorithms and Data Compression参考文献 17被引用 8

一句话总结

本文提出了一种快速、通用的序列匹配算法，通过整合哈希编码的跳转循环，结合了Knuth-Morris-Pratt（KMP）算法的最坏情况效率与Boyer-Moore算法的平均情况性能。该算法在最坏情况下达到线性时间复杂度，最多进行2n次比较，同时具备次线性的平均情况行为，在包括DNA和Unicode序列在内的多种场景中，性能优于传统Boyer-Moore变体，且适用于通用C++库（如STL）。

ABSTRACT

A string matching -- and more generally, sequence matching -- algorithm is presented that has a linear worst-case computing time bound, a low worst-case bound on the number of comparisons (2n), and sublinear average-case behavior that is better than that of the fastest versions of the Boyer-Moore algorithm. The algorithm retains its efficiency advantages in a wide variety of sequence matching problems of practical interest, including traditional string matching; large-alphabet problems (as in Unicode strings); and small-alphabet, long-pattern problems (as in DNA searches). Since it is expressed as a generic algorithm for searching in sequences over an arbitrary type T, it is well suited for use in generic software libraries such as the C++ Standard Template Library. The algorithm was obtained by adding to the Knuth-Morris-Pratt algorithm one of the pattern-shifting techniques from the Boyer-Moore algorithm, with provision for use of hashing in this technique. In situations in which a hash function or random access to the sequences is not available, the algorithm falls back to an optimized version of the Knuth-Morris-Pratt algorithm.

研究动机与目标

• 开发一种具有最优最坏情况时间复杂度并提升平均情况性能的序列匹配算法。
• 解决现有算法在小字母表、长模式问题（如DNA）和大字母表场景（如Unicode）中的局限性。
• 设计一种适合集成到C++标准库（如STL）的通用算法，支持任意序列类型。
• 通过结合KMP的稳健性与一种新型哈希优化跳转机制，在多种输入类型间实现性能平衡。
• 在随机访问或哈希不可用时，提供优化后的KMP作为回退方案，确保性能一致性。

提出的方法

• 该算法通过借鉴加速Boyer-Moore（ABM）算法的跳转机制，扩展了Knuth-Morris-Pratt（KMP）算法。
• 采用哈希编码跳转技术，高效确定失配后模式的位移距离，从而在平均情况下减少比较次数。
• 当哈希或随机访问不可用时，包含回退至标准KMP变体的机制，以保持最坏情况下的保证。
• 作为通用模板实现，适用于任意序列类型T，支持在C++标准模板库（STL）及类似通用库中使用。
• 采用类似KMP的next表用于失配恢复，同时利用字符频率和哈希计算跳转表，实现快速模式位移。
• 设计支持多种变体：基于哈希的快速跳转版本、无哈希版本，以及纯KMP回退版本，具体取决于可用操作。

实验结果

研究问题

• RQ1 能否设计一种通用序列匹配算法，在保持O(n)最坏情况时间复杂度的同时，实现次线性平均情况性能？
• RQ2 在小字母表、长模式问题（如DNA序列匹配）中，如何保持Boyer-Moore式跳转循环的效率？
• RQ3 哈希编码跳转机制是否能提升大字母表场景（如Unicode文本处理）下的性能？
• RQ4 在将跳转循环集成到KMP基础算法时，初始化开销与平均情况速度之间的权衡是什么？
• RQ5 如何实现一种通用算法，以支持C++模板中任意序列类型？

主要发现

• 该算法的最坏情况比较次数上限为2n次，与KMP一致，确保性能可预测。
• 在平均情况下的英文文本搜索中，由于优化的跳转逻辑，该算法性能优于目前已知最快的Boyer-Moore变体（包括TBM和LC）。
• 哈希编码跳转循环在大字母表场景（如Unicode）中实现了高效性能，避免了传统Boyer-Moore跳转表带来的内存开销。
• 对于长模式、小字母表问题（如DNA匹配），该算法避免了标准Boyer-Moore变体中常见的性能下降问题。
• 当哈希或随机访问不可用时，该算法可优雅降级为优化后的KMP变体，保持最坏情况效率。
• 基准测试证实，该算法在多种工作负载下表现强劲，包括单词搜索、大文本处理以及通用C++环境中的序列匹配。