[论文解读] Dictionary matching in a stream

Raphaël Clifford, Allyx Fontaine+3 more|arXiv (Cornell University)|Apr 23, 2015

Algorithms and Data Compression参考文献 17被引用 6

一句话总结

本文提出了一种用于字典匹配的随机化流算法，实现每个字符 O(log log(k+m)) 的时间复杂度和 O(k log m) 的空间复杂度，其中 k 为模式数量，m 为最大模式长度。通过将模式划分为短模式、周期性模式和非周期性模式三类，并结合指纹识别与渐进式匹配及带颜色的祖先查询，该算法能够以较低的错误概率高效检测模式出现。

ABSTRACT

We consider the problem of dictionary matching in a stream. Given a set of strings, known as a dictionary, and a stream of characters arriving one at a time, the task is to report each time some string in our dictionary occurs in the stream. We present a randomised algorithm which takes O(log log(k + m)) time per arriving character and uses O(k log m) words of space, where k is the number of strings in the dictionary and m is the length of the longest string in the dictionary.

研究动机与目标

• 设计一种流式字典匹配算法，实现最小空间占用和较低的每个字符时间开销。
• 高效处理具有不同长度模式的字典，避免独立模式匹配带来的 O(k) 时间复杂度。
• 将空间使用量控制在 O(k log m) 个字以内，同时保持每个输入字符的次线性时间复杂度，接近理论空间下界。
• 在严格流式模型（不完整存储输入或字典）下，最小化模式检测中的误报和漏报。

提出的方法

• 该算法将字典中的模式划分为三类：短模式、具有短周期的长模式，以及具有长周期的长模式。
• 针对每类模式，采用指纹识别与基于 2 的幂次长度前缀的渐进式匹配相结合的方法，以高效检测潜在匹配。
• 通过滚动指纹数据结构维护候选匹配的进展，该结构支持 O(1) 时间的更新与比较。
• 利用反转模式后缀的压缩Trie中的带颜色祖先查询，验证完整模式匹配并消除检测延迟。
• 通过循环缓冲区存储指纹，实现在 k log m 个字符的有界延迟后，以常数时间验证候选模式扩展。
• 该方法利用随机化技术，使错误概率保持在 O(1/n) 的小范围内，其中 n 为流长度，同时保持在最优空间界限内。

实验结果

研究问题

• RQ1 是否可以在每个字符的次线性时间复杂度下完成流式字典匹配，同时使用接近最优的空间？
• RQ2 在不存储整个字典的情况下，如何在流式环境中高效匹配长度各异的模式？
• RQ3 哪些技术可同时最小化流式字典匹配算法的时间与空间复杂度，并保持低错误概率？
• RQ4 即使更早检测到前缀匹配，是否仍能实现仅具有有界延迟的完整模式匹配检测？
• RQ5 是否可将空间使用量控制在 O(k log m) 个字以内，同时实现每个字符 O(log log(k+m)) 的时间复杂度？

主要发现

• 该算法实现了每个字符 O(log log(k+m)) 的时间复杂度，显著优于独立运行模式匹配器的 O(k) 时间复杂度。
• 空间复杂度为 O(k log m) 个字，处于理论下界 Ω(k log n) 比特的对数因子范围内。
• 该算法报告的模式匹配中，误报和漏报的概率为 O(1/n)，其中 n 为流长度。
• 检测延迟被限制在 k log m 个字符以内，且通过在压缩Trie中使用带颜色的祖先查询，该延迟被完全消除。
• 通过结合指纹识别与基于反转模式后缀构建的带颜色Trie结构，该方法可高效验证完整模式匹配。
• 该方法支持在无法完整存储字典或输入流的流式环境中实现可扩展的字典匹配。