[论文解读] Fast and simple algorithms for computing both $LCS_{k}$ and $LCS_{k+}$

Filip Pavetić, Ivan Katanić+3 more|arXiv (Cornell University)|May 20, 2017

Algorithms and Data Compression参考文献 4被引用 4

一句话总结

本文提出了一种单一且高效的算法，可同时计算 $LCS_k$ 和 $LCS_{k+}$，并提升了时间复杂度，达到 $Ó(\min(r\log l, r + ml))$ 的时间复杂度，且避免使用复杂的数据结构。该算法引入了一种内存优化的重构启发式方法，在人类基因组数据上将内存使用量减少了高达 1000 倍，并提供了开源的 C++ 代码以促进更广泛的应用。

ABSTRACT

Longest Common Subsequence ($LCS$) deals with the problem of measuring similarity of two strings. While this problem has been analyzed for decades, the recent interest stems from a practical observation that considering single characters is often too simplistic. Therefore, recent works introduce the variants of $LCS$ based on shared substrings of length exactly or at least $k$ ($LCS_k$ and $LCS_{k+}$ respectively). The main drawback of the state-of-the-art algorithms for computing $LCS_k$ and $LCS_{k+}$ is that they work well only in a limited setting: they either solve the average case well while being suboptimal in the pathological situations or they achieve a good worst-case performance, but fail to exploit the input data properties to speed up the computation. Furthermore, these algorithms are based on non-trivial data structures which is not ideal from a practitioner's point of view. We present a single algorithm to compute both $LCS_k$ and $LCS_{k+}$ which outperforms the state-of-the art algorithms in terms of runtime complexity and requires only basic data structures. In addition, we implement an algorithm to reconstruct the solution which offers significant improvement in terms of memory consumption. Our empirical validation shows that we save several orders of magnitude of memory on human genome data. The C++ implementation of our algorithms is made available at: https://github.com/google/fast-simple-lcsk

研究动机与目标

• 解决现有 $LCS_k$ 和 $LCS_{k+}$ 算法效率低下的问题，这些算法在病理性情况下表现不佳，或依赖于复杂的数据结构。
• 通过单一、简单的算法统一计算 $LCS_k$ 和 $LCS_{k+}$。
• 显著降低大规模基因组数据中解重构过程的内存消耗。
• 提供一种实用且易于访问的实现，以加速生物信息学和字符串相似性研究中的科研与应用。

提出的方法

• 该算法基于长度为 $k$ 的匹配子串，采用动态规划方法，并在排序后的匹配对上应用扫描线技术。
• 它维护一组活动匹配对，并使用优先队列在处理过程中高效扩展最长公共子序列。
• 通过考虑长度 $\geq k$ 的所有子串而非恰好长度为 $k$ 的子串，将相同的底层逻辑适配用于 $LCS_{k+}$，从而实现统一计算。
• 采用引用计数机制与共享指针动态管理重构路径，在匹配对不再需要时立即释放内存。
• 该算法避免使用持久化或增强型数据结构（如红黑树或树状数组），仅依赖基本数据结构，以确保简洁性和高效性。
• 实现采用标准 C++，使用 std::shared_ptr 自动管理重构链的内存，从而实现显著的空间节省。

实验结果

研究问题

• RQ1 是否能够通过单一、简单的算法，以优于现有方法的渐近时间复杂度，高效计算 $LCS_k$ 和 $LCS_{k+}$？
• RQ2 是否可能在不依赖复杂数据结构（如持久化红黑树或树状数组）的前提下，实现最优或近似最优的时间复杂度？
• RQ3 在实际应用中，特别是对于人类基因组序列等大规模输入，如何显著降低实际子序列重构的内存使用量？
• RQ4 基于引用计数和动态释放的内存优化技术，是否可推广至其他具有类似重构开销的动态规划问题？

主要发现

• 所提出的算法实现了 $\mathcal{O}(\min(r\log l, r + ml))$ 的时间复杂度，在平均情况和最坏情况下的表现均优于以往方法。
• 同一算法可同时计算 $LCS_k$ 和 $LCS_{k+}$，将原本两个独立的问题统一于同一框架之下。
• 内存优化的重构方法在人类基因组数据上将峰值内存使用量减少了高达 1000 倍，多个染色体和 $k$ 值下观察到的压缩因子为 700–1000 倍。
• 实现代码已发布于 https://github.com/google/fast-simple-lcsk，是首个广泛可用的 $LCS_k$ 和 $LCS_{k+}$ 开源代码库，支持可复现性与进一步研究。
• 实验表明，随着匹配对数量的增加，内存节省效果增强，表明该算法在大规模生物数据集上具有良好的可扩展性。
• 该算法避免使用复杂数据结构，相比依赖持久化或增强型树结构的先前解决方案，更易于实现与维护。