[论文解读] Engineering Small Space Dictionary Matching

Shoshana Marcus Dina Sokol|arXiv (Cornell University)|Jan 28, 2013

Algorithms and Data Compression参考文献 10被引用 3

一句话总结

本文提出了一种空间高效的字典匹配算法，其核心数据结构为压缩后缀树，实现了线性时间模式匹配，且工作空间与字典的经验熵成比例。主要贡献在于提出了一套简洁的框架，用于在压缩后缀树上实现常数时间的最低标记祖先查询，从而在不损失空间节省的前提下提升效率，实验结果表明在DNA和英文文本数据集上，空间使用量最高仅为5.4MB，搜索时间接近线性。

ABSTRACT

The dictionary matching problem is to locate occurrences of any pattern among a set of patterns in a given text. Massive data sets abound and at the same time, there are many settings in which working space is extremely limited. We introduce dictionary matching software for the space-constrained environment whose running time is close to linear. We use the compressed suffix tree as the underlying data structure of our algorithm, thus, the working space of our algorithm is proportional to the optimal compression of the dictionary. We also contribute a succinct tool for performing constant-time lowest marked ancestor queries on a tree that is succinctly encoded as a sequence of balanced parentheses, with linear time preprocessing of the tree. This tool should be useful in many other applications. Our source code is available at http://www.sci.brooklyn.cuny.edu/~sokol/dictmatch.html

研究动机与目标

• 为解决移动设备和卫星设备等存储受限环境中的字典匹配挑战，这些环境中数据增长速度超过可用存储容量。
• 弥合理论上最优的简洁字典匹配算法与实际软件实现之间的差距。
• 设计并实现一种实用的、线性时间的字典匹配系统，其空间使用量与字典的经验熵成比例。
• 设计并实现一种简洁数据结构，用于在压缩后缀树上实现常数时间的最低标记祖先查询，该结构可复用于其他应用场景。

提出的方法

• 该算法采用Sadakane提出的压缩后缀树（CST）作为底层数据结构，通过压缩后缀数组和LCP数组的表示方式，实现高效的空间使用。
• 该方法利用位向量和平衡括号序列，简洁地编码树结构，从而支持高效的导航与查询操作。
• 提出一种新颖的简洁框架，用于在常数时间内回答最低标记祖先查询，利用预处理的位向量和平衡括号序列。
• 实现过程中利用Succinct Data Structures Library，并支持多种压缩后缀数组和LCP数组变体（如 csa_sada、csa_wt、lcp_dac、lcp_support_tree2）以进行性能调优。
• 使用两个真实世界数据集进行评估：5MB的人类基因组DNA数据和5MB的英文文本，字典大小为2.5–3MB。
• 通过测量多种CST配置下的预处理时间和搜索时间，评估时间-空间权衡。

实验结果

研究问题

• RQ1 是否可以实际实现一种简洁字典匹配算法，达到接近线性运行时间，且空间使用量与字典的经验熵成比例？
• RQ2 所提出的最低标记祖先查询结构在压缩后缀树上保持常数时间性能的效率如何？
• RQ3 在字典匹配系统中，使用不同的后缀数组和LCP数组压缩表示时，实际的时间-空间权衡如何？
• RQ4 与无压缩的替代方案相比，压缩后缀树在多大程度上减少了内存使用量，同时不显著降低搜索性能？

主要发现

• 使用 csa_wt 和 lcp_support_tree2 的压缩后缀树配置在DNA数据上实现了最小的内存占用（5.4MB），在英文文本上为5.0MB，同时保持了接近线性的搜索时间。
• 所有压缩配置的搜索时间均与无压缩基线相差不足1%（DNA为2.05小时，英文为3.63小时），表明性能损耗可忽略不计。
• 预处理时间在7至30秒之间，最节省空间的配置需要稍长的设置时间，但仍处于实用范围内。
• 最低标记祖先查询框架在完成线性时间预处理后，实现了常数时间操作，证明了其高效性与在字典匹配之外的可重用性。
• 与无压缩后缀树相比，系统实现了高达80%的空间节省（例如，DNA数据中为26.7MB vs. 5.4MB），证实了压缩的有效性。
• 结果验证了简洁数据结构可在实际字典匹配系统中有效应用，成功弥合了理论与实现之间的差距。