[论文解读] Elastic-Degenerate String Matching via Fast Matrix Multiplication

Giulia Bernardini, Paweł Gawrychowski+3 more|arXiv (Cornell University)|May 6, 2019

Algorithms and Data Compression被引用 14

一句话总结

本文提出了一种用于弹性-退化串匹配（EDSM）的非组合算法，其时间复杂度为 Õ(nm^{ω−1} + N)，其中 ω < 2.373，突破了先前的组合算法下界。通过结合快速矩阵乘法、串周期性以及基于FFT的技术，将指数从1.5降低至约1.373，在矩阵乘法指数假设下显著优于以往结果。

ABSTRACT

An elastic-degenerate (ED) string is a sequence of $n$ sets of strings of total length $N$, which was recently proposed to model a set of similar sequences. The ED string matching (EDSM) problem is to find all occurrences of a pattern of length $m$ in an ED text. An $O(nm^{1.5}\\sqrt{\\log m}+N)$-time algorithm for EDSM is known [Aoyama et al., CPM 2018]. The standard assumption in the prior work on this question is that $N$ is substantially larger than both $n$ and $m$, and thus we would like to have a linear dependency on the former. Under this assumption, the natural open problem is whether we can decrease the 1.5 exponent in the time complexity, similarly as in the related (but, to the best of our knowledge, not equivalent) word break problem [Backurs and Indyk, FOCS 2016]. Our starting point is a conditional lower bound for EDSM. We use the popular combinatorial Boolean Matrix Multiplication (BMM) conjecture stating that there is no truly subcubic combinatorial algorithm for BMM [Abboud and Williams, FOCS 2014]. By designing an appropriate reduction we show that a combinatorial algorithm solving the EDSM problem in $O(nm^{1.5-e}+N)$ time, for any $e&gt;0$, refutes this conjecture. Our reduction should be understood as an indication that decreasing the exponent requires fast matrix multiplication. String periodicity and fast Fourier transform are two standard tools in string algorithms. Our main technical contribution is that we successfully combine these tools with fast matrix multiplication to design a non-combinatorial $\ ilde{O}(nm^{\\omega-1}+N)$-time algorithm for EDSM, where $\\omega$ denotes the matrix multiplication exponent. To the best of our knowledge, we are the first to combine these tools. In particular, using the fact that $\\omega&lt;2.373$ [Le Gall, ISSAC 2014; Williams, STOC 2012], we obtain an $O(nm^{1.373}+N)$-time algorithm for EDSM.

研究动机与目标

• 为在标准假设 N ≫ n 下将弹性-退化串匹配（EDSM）的时间复杂度降低至 O(nm^{1.5}) 以下，解决该开放问题。
• 建立一个条件下界，表明任何在 O(nm^{1.5−ε} + N) 时间内运行的组合算法解决 EDSM 将反驳组合布尔矩阵乘法（BMM）猜想。
• 设计一种非组合算法，利用快速矩阵乘法、串周期性及多项式乘法，实现在时间复杂度中指数低于1.5。
• 提出一种新颖的锚点选择技术，确保ED文本中的每个串都至少包含一个但不过多的模式锚点，从而实现高效分解与基于矩阵的处理。

提出的方法

• 作者通过一种新颖的归约方法，将 EDSM 问题转化为布尔矩阵乘法，表明任何具有 O(nm^{1.5−ε} + N) 时间复杂度的组合算法将反驳组合 BMM 猜想。
• 他们提出一种方法，从模式中选择一组小规模的长度为ℓ的子串（锚点），使得ED文本集合中的每个串都至少包含一个锚点，从而实现匹配过程的高效分解。
• 该算法使用环上的多项式乘法来表示和组合串片段，系数用于追踪有效匹配，并应用快速矩阵乘法加速计算。
• 该方法基于锚点将模式划分为若干段，并利用矩阵乘法计算模式子串与文本集合之间的重叠，利用退化串的结构特征。
• 该方法将串周期性与快速傅里叶变换（FFT）技术相结合，高效计算表示潜在匹配的多项式乘积，从而减少昂贵操作的数量。
• 最终算法的时间复杂度为 Õ(nm^{ω−1} + N)，其中 ω 为矩阵乘法指数，使用目前已知的最佳界 ω < 2.373 时，可达到 O(nm^{1.373} + N) 的时间复杂度。

实验结果

研究问题

• RQ1 能否使用非组合技术将弹性-退化串匹配的时间复杂度改进至 O(nm^{1.5}) 以下？
• RQ2 是否存在一个条件下的下界，可排除 EDSM 的组合算法在 O(nm^{1.5−ε} + N) 时间复杂度内运行？
• RQ3 快速矩阵乘法能否与串周期性和 FFT 有效结合，以更高效地解决 EDSM？
• RQ4 锚点选择在实现退化串中高效分解与基于矩阵的匹配中起到什么作用？
• RQ5 使用多项式乘法与矩阵指数运算是否能导致比先前方法更优的可证明更快的算法？

主要发现

• 本文建立了条件下的下界：任何在 O(nm^{1.5−ε} + N) 时间内解决 EDSM 的组合算法（ε > 0）将反驳组合布尔矩阵乘法（BMM）猜想。
• 作者提出一种非组合算法，其时间复杂度为 Õ(nm^{ω−1} + N)，其中 ω 表示矩阵乘法指数，从而突破了先前的组合复杂度屏障。
• 通过采用目前已知的最佳界 ω < 2.373，该算法实现了 O(nm^{1.373} + N) 的时间复杂度，显著优于先前的 O(nm^{1.5}√log m + N) 结果。
• 关键技术突破在于提出了一种新颖的锚点选择方法，确保ED文本中的每个串都至少包含一个但不过多的模式锚点，从而实现高效分解与基于矩阵的处理。
• 该算法成功结合了快速矩阵乘法、串周期性与基于FFT的多项式乘法，是首次在EDSM中应用这种组合。
• 结果表明，实现EDSM时间复杂度中指数低于1.5，必须依赖快速矩阵乘法，而不能仅依靠组合技术。