[论文解读] Dismantling DivSufSort

Johannes Fischer, Florian Kurpicz|arXiv (Cornell University)|Oct 5, 2017

Algorithms and Data Compression参考文献 8被引用 11

一句话总结

本文首次对DivSufSort提供了全面的学术描述，该算法是主内存中已知最快的后缀排序算法，同时提出了一项扩展，可在排序过程中计算LCP数组。通过将LCP构造集成到DivSufSort的诱导阶段，该方法在性能上与目前已知最快的LCP数组构造算法相当，优于现有的基于诱导的方法，并与最先进的Φ-算法比肩。

ABSTRACT

We give the first concise description of the fastest known suffix sorting algorithm in main memory, the DivSufSort by Yuta Mori. We then present an extension that also computes the LCP-array, which is competitive with the fastest known LCP-array construction algorithm.

研究动机与目标

• 为DivSufSort提供清晰、简洁且易于理解的学术描述，该算法在实践中被广泛使用，但此前在文献中缺乏正式记录。
• 扩展DivSufSort以在后缀数组构建过程中计算LCP数组，从而支持高效的文本索引处理流水线。
• 证明扩展后的DivSufSort实现与目前已知最快的LCP数组构造算法性能相当。
• 将DivSufSort的算法组件与对应的源代码行以及先前工作相联系，提升可复现性与理解度。
• 解释DivSufSort相较于SAIS的性能优势，特别是在排序策略与内存访问模式方面的差异。

提出的方法

• 本文逆向分析了超过1,000行的DivSufSort源代码，提供了其算法逻辑的正式、分步描述。
• 提出了一项新颖的扩展，可在后缀数组构建的诱导阶段同时计算LCP数组，复用相同的数据结构，避免额外遍历。
• 利用后缀分类为A-、B-和B*-类型来指导排序与诱导过程，减少不必要的操作。
• 采用重复检测与类似倍增的前缀技术，优化非可诱导后缀的初始排序。
• 通过在诱导阶段跟踪SA中相邻后缀之间的最长公共前缀，将LCP构造集成到SA构建框架中。
• 在标准测试数据集上进行实验评估，将运行时间与最先进的LCP和后缀数组构造方法进行比较。

实验结果

研究问题

• RQ1 尽管缺乏学术文档，为何DivSufSort显著快于其他后缀排序算法（如SAIS）？
• RQ2 能否在与DivSufSort相同的算法框架下，高效地将LCP数组与后缀数组一并计算？
• RQ3 扩展后的DivSufSort性能与现有LCP数组构造算法（包括Φ-算法和基于诱导的方法）相比如何？
• RQ4 DivSufSort中哪些关键算法优化促成了其在实际应用中的高性能？
• RQ5 如何对DivSufSort的内部逻辑进行形式化描述，并与源代码行建立关联，以提升可复现性与进一步开发能力？

主要发现

• 扩展后的DivSufSort在后缀数组构建阶段同时计算LCP数组，性能与目前已知最快的LCP数组构造算法相当。
• 平均而言，该新方法快于唯一其他基于诱导的LCP构造方法，在某些情况下甚至超过当前纯LCP构造的最先进算法Φ-算法。
• 对于200 MB的DNA数据，扩展后的DivSufSort在33.47秒内完成LCP构造，比次优方法（28.06秒）快了微小但可测量的幅度。
• DivSufSort相较于SAIS的性能优势归因于其采用非递归的基于字符串排序的初始阶段，以及更高效的诱导过程，避免了对A-后缀的重复处理。
• 该方法通过在第一轮诱导阶段跳过仅包含A-后缀的SA区域，减少了内存访问开销，提升了数据局部性。
• 在多种数据集（DNA、英文、XML、蛋白质）上的实验结果表明，该方法在不同数据类型和规模下均表现出一致的性能提升。