[论文解读] Optimal trade-offs for pattern matching with $k$ mismatches

Paweł Gawrychowski, Przemysław Uznański|arXiv (Cornell University)|Apr 5, 2017

Algorithms and Data Compression被引用 5

一句话总结

本文提出了一种新的 $k$-mismatch 模式匹配算法，实现了 $\widetilde{\mathcal{O}}((m + k\sqrt{m}) \cdot n/m)$ 的平滑时间复杂度权衡，介于 $\widetilde{\mathcal{O}}(n\sqrt{k})$ 和 $\widetilde{\mathcal{O}}((m + k^2) \cdot n/m)$ 两个边界之间。该工作还给出了一个条件下界，表明在组合矩阵乘法猜想成立的前提下，显著更快的组合算法几乎不可能存在。

ABSTRACT

Given a pattern of length $m$ and a text of length $n$, the goal in $k$-mismatch pattern matching is to compute, for every $m$-substring of the text, the exact Hamming distance to the pattern or report that it exceeds $k$. This can be solved in either $\widetilde{O}(n \sqrt{k})$ time as shown by Amir et al. [J. Algorithms 2004] or $\widetilde{O}((m + k^2) \cdot n/m)$ time due to a result of Clifford et al. [SODA 2016]. We provide a smooth time trade-off between these two bounds by designing an algorithm working in time $\widetilde{O}( (m + k \sqrt{m}) \cdot n/m)$. We complement this with a matching conditional lower bound, showing that a significantly faster combinatorial algorithm is not possible, unless the combinatorial matrix multiplication conjecture fails.

研究动机与目标

• 弥合已知的 $k$-mismatch 模式匹配时间复杂度边界之间的差距：$\widetilde{\mathcal{O}}(n\sqrt{k})$ 和 $\widetilde{\mathcal{O}}((m + k^2) \cdot n/m)$。
• 设计一种单一算法，使其在两个极端之间实现平滑的性能权衡，从而在所有 $k$ 值范围内均表现更优。
• 提供一个条件性下界，表明在组合矩阵乘法猜想成立的前提下，所提出的权衡几乎是最优的。
• 统一并改进先前的技术，包括卷积、RLE 压缩和基于块的分解，以实现高效的 $k$-mismatch 计算。

提出的方法

• 该算法使用游程编码（RLE）将模式和文本划分为 $\mathcal{O}(k)$ 个块，从而将问题简化为 RLE $k$-mismatch 模式匹配。
• 对于仅出现在少数 RLE 块中的字符，利用预计算的表示形式，以每对块常数时间计算匹配。
• 对于出现在许多块中的字符，将其对应的模式片段解压缩，并在 $\mathcal{O}(m)$ 时间内应用经典的基于 FFT 的卷积。
• 通过设定一个阈值来平衡两种方法的代价，从而实现 RLE 子问题的 $\widetilde{\mathcal{O}}(k\sqrt{m})$ 时间复杂度。
• 通过结合两种策略并利用生成函数及其二阶导数实现高效更新，整体时间复杂度为 $\widetilde{\mathcal{O}}((m + k\sqrt{m}) \cdot n/m)$。
• 通过从矩形布尔矩阵乘法问题归约，推导出一个条件性下界，表明更快的组合算法将与组合矩阵乘法猜想矛盾。

实验结果

研究问题

• RQ1 能否在 $k$-mismatch 模式匹配的 $\widetilde{\mathcal{O}}(n\sqrt{k})$ 和 $\widetilde{\mathcal{O}}((m + k^2) \cdot n/m)$ 边界之间实现平滑的时间复杂度权衡？
• RQ2 所提出的 $\widetilde{\mathcal{O}}((m + k\sqrt{m}) \cdot n/m)$ 时间复杂度权衡是否最优，还是可以被显著改进？
• RQ3 基于组合矩阵乘法的条件性下界能否被扩展，以排除该问题存在更快的组合算法的可能性？
• RQ4 如何有效结合 RLE 压缩与卷积技术，以处理模式中稀疏与密集字符出现的情况？

主要发现

• 所提出的算法实现了 $\widetilde{\mathcal{O}}((m + k\sqrt{m}) \cdot n/m)$ 的时间复杂度，该复杂度在 $k = \mathcal{O}(\sqrt{m})$ 和 $k = \Omega(m)$ 的极端情况下与已知最优边界一致，但在中间区域实现了更优的权衡。
• 当 $k = \Theta(m^{2/3})$ 时，算法将时间复杂度从 $\widetilde{\mathcal{O}}(m^{4/3})$ 提升至 $\widetilde{\mathcal{O}}(m^{7/6})$，在中间区域实现了显著改进。
• 该算法在条件意义下是最优的：若存在显著更快的组合算法，将与组合矩阵乘法猜想矛盾。
• 该条件性下界在 $k = \Theta(n^\kappa)$ 且模式长度 $m = \Theta(n^\alpha)$ 的条件下成立，其中 $\frac{1}{2}\alpha \leq \kappa \leq \alpha \leq 1$，前提是组合矩阵乘法猜想成立。
• 该方法有效结合了基于 RLE 的块分解与基于 FFT 的卷积，通过阈值策略平衡稀有与频繁字符的处理成本。
• 利用生成函数的二阶导数，可实现 $\mathcal{O}(k \cdot t)$ 时间内维护失配计数，其中 $t = \sqrt{m \log m}$，从而得到最终的时间复杂度边界。