[论文解读] Efficient Pattern Matching on Binary Strings

Simone Faro, Thierry Lecroq|ArXiv.org|Oct 14, 2008

Algorithms and Data Compression参考文献 10被引用 12

一句话总结

本文提出了两种高效的算法——Binary-Skip-Search 和 Binary-Hash-Matching——用于在二进制字符串上进行模式匹配，旨在以字节为单位逐字节处理数据，避免位级操作。两种算法均优于现有方法，其中 Binary-Skip-Search 在均匀字符分布下，相比 Binary-Boyer-Moore 最快可提升 10 倍，相比 Binary-Naive 最快可提升 100 倍；而 Binary-Hash-Matching 在非均匀情况下相比 Boyer-Moore 减少了超过 50% 的文本检查次数。

ABSTRACT

The binary string matching problem consists in finding all the occurrences of a pattern in a text where both strings are built on a binary alphabet. This is an interesting problem in computer science, since binary data are omnipresent in telecom and computer network applications. Moreover the problem finds applications also in the field of image processing and in pattern matching on compressed texts. Recently it has been shown that adaptations of classical exact string matching algorithms are not very efficient on binary data. In this paper we present two efficient algorithms for the problem adapted to completely avoid any reference to bits allowing to process pattern and text byte by byte. Experimental results show that the new algorithms outperform existing solutions in most cases.

研究动机与目标

• 为解决经典字符串匹配算法在应用于二进制数据时效率低下的问题，因为位级操作会显著降低性能。
• 设计在字节或字长级别处理二进制字符串的算法，消除昂贵的位操作。
• 在涉及二进制数据的实际应用（如网络协议、图像处理和压缩文本）中实现更优的实用性能。
• 在二进制数据的不同分布模式下，评估并比较新算法与现有解决方案的表现。
• 证明基于块的处理方式可在不牺牲正确性或最坏情况时间复杂度的前提下实现显著的性能提升。

提出的方法

• 通过直接处理 8 位块（字节）将 q-Hash 算法适配到二进制字符串，避免逐位访问。
• 设计一种新型的 Binary-Skip-Search 算法，每次比较可跳过多个字节，利用字节对齐的模式匹配。
• 采用基于块的模型，将每个字节视为单一单位，以支持高效的比较和移位操作。
• 在 Binary-Skip-Search 中使用查找表预计算移位值，以最小化字符检查次数。
• 在 Binary-Hash-Matching 中对字节大小的块应用哈希函数，以快速过滤非匹配位置。
• 实现两种算法时完全避免任何位级操作，仅专注于字节或字长级别的处理以提升效率。

实验结果

研究问题

• RQ1 通过避免位级操作，能否显著优化经典字符串匹配算法在二进制数据上的性能？
• RQ2 在二进制字符串匹配中，与位级处理相比，字节级处理在性能上表现如何？
• RQ3 字符分布（均匀 vs. 非均匀）对二进制字符串匹配算法性能有何影响？
• RQ4 基于块的算法是否能在实际场景中同时实现高速度和低检查次数？
• RQ5 与 Binary-Boyer-Moore 和 Binary-Naive 等现有变体相比，所提算法在运行时间和文本检查次数方面表现如何？

主要发现

• 在均匀字符分布下，Binary-Skip-Search 算法相比 Binary-Boyer-Moore 最快可提升 10 倍，相比 Binary-Naive 最快可提升 100 倍。
• Binary-Skip-Search 所需的文本字符检查次数少于 Binary-Boyer-Moore 的 50%，尤其在长模式下表现更优。
• 在非均匀分布下，Binary-Hash-Matching 将文本检查次数减少至 Binary-Boyer-Moore 的 50% 以下。
• 在非均匀情况下，Binary-Hash-Matching 相比 Binary-Boyer-Moore 至少实现了两倍的性能提升，且表现稳定。
• 在所有测试场景中，两种新算法均优于现有方案：Binary-Skip-Search 在均匀分布下表现更优，Binary-Hash-Matching 在非均匀分布下表现更优。
• 实验结果证实，完全避免位操作的字节级处理在所有测试条件下均能实现更优的实用性能。