[论文解读] Enhanced Covers of Regular & Indeterminate Strings using Prefix Tables

Ali Alatabbi, Abir Islam+3 more|arXiv (Cornell University)|Jan 1, 2015

Algorithms and Data Compression参考文献 10被引用 3

一句话总结

本文提出一种基于前缀表的新算法，用于计算字符串的最小增强覆盖（MEC）数组，实现最优的 O(n) 期望时间复杂度，并在空间效率上显著优于以往基于边界数组的方法。该方法不仅适用于普通字符串，还可高效处理不确定字符串（如含有模糊核苷酸的DNA序列），并利用前缀表在非传递匹配关系下的鲁棒性。

ABSTRACT

A \itbf{cover} of a string $x = x[1..n]$ is a proper substring $u$ of $x$ such that $x$ can be constructed from possibly overlapping instances of $u$. A recent paper \cite{FIKPPST13} relaxes this definition --- an \itbf{enhanced cover} $u$ of $x$ is a border of $x$ (that is, a proper prefix that is also a suffix) that covers a {\it maximum} number of positions in $x$ (not necessarily all) --- and proposes efficient algorithms for the computation of enhanced covers. These algorithms depend on the prior computation of the \itbf{border array} $\beta[1..n]$, where $\beta[i]$ is the length of the longest border of $x[1..i]$, $1 \le i \le n$. In this paper, we first show how to compute enhanced covers using instead the \itbf{prefix table}: an array $\pi[1..n]$ such that $\pi[i]$ is the length of the longest substring of $x$ beginning at position $i$ that matches a prefix of $x$. Unlike the border array, the prefix table is robust: its properties hold also for \itbf{indeterminate strings} --- that is, strings defined on {\it subsets} of the alphabet $\Sigma$ rather than individual elements of $\Sigma$. Thus, our algorithms, in addition to being faster in practice and more space-efficient than those of \cite{FIKPPST13}, allow us to easily extend the computation of enhanced covers to indeterminate strings. Both for regular and indeterminate strings, our algorithms execute in expected linear time. Along the way we establish an important theoretical result: that the expected maximum length of any border of any prefix of a regular string $x$ is approximately 1.64 for binary alphabets, less for larger ones.

研究动机与目标

• 开发一种更高效且节省空间的算法，用于计算字符串的最小增强覆盖（MEC）数组。
• 将增强覆盖的计算扩展至不确定字符串，因为在非传递匹配下传统边界数组会失效。
• 证明前缀表在处理不确定字符串方面比边界数组更具鲁棒性，尤其在DNA序列分析等生物信息学场景中。
• 建立随机字符串中最大边界长度的理论界，表明其在二元字母表下收敛于约 1.64。

提出的方法

• 使用前缀表 π[i] = 从位置 i 开始且与字符串 x 的前缀匹配的最长子串的长度。
• 用前缀表 π 替代先前工作中使用的边界数组 β，因为前缀表在不确定字符串的非传递匹配下具有更强的鲁棒性。
• 引入最大无覆盖数组 MNC[q] 以识别长度为 q 且无覆盖的最长前缀，该数组通过覆盖数组 γ 计算得出。
• 通过预处理步骤在 O(n) 时间内计算 B = max(π[2..n])，即最大边界长度。
• 利用 MNC 和前缀表的性质，通过改进的覆盖检测过程，高效计算 MEC 和 CMEC 数组。
• 通过使用根覆盖模型和预计算的前缀表，将算法扩展至不确定字符串（即部分词）。

实验结果

研究问题

• RQ1 通过用前缀表替代边界数组，是否可以使增强覆盖的计算更加高效且节省空间？
• RQ2 在具有非传递匹配的不确定字符串中，前缀表是否仍能保持正确性和实用性？
• RQ3 在随机字符串中，任何边界的期望最大长度是多少？其随字母表大小的变化如何？
• RQ4 能否使用前缀表在 O(n) 期望时间内计算普通字符串和不确定字符串的 MEC 数组？
• RQ5 在实际应用中，基于前缀表的算法与基于边界数组的算法相比性能如何？

主要发现

• 所提出的基于前缀表的算法在 O(n) 期望时间内计算 MEC 和 CMEC 数组，额外空间使用为 Θ(log n)，相较于先前方法的 O(n log n) 最坏时间复杂度有显著提升。
• 在随机二元字母表字符串中，期望最大边界长度随着 n → ∞ 而收敛至约 1.64，且字母表越大，该值越低。
• 前缀表在非传递匹配下具有鲁棒性，可在边界数组失效的不确定字符串中正确计算增强覆盖。
• 对于不确定字符串，边界的期望数量被一个常数（约 29）所限制，从而保证了增强覆盖计算的 O(n) 期望时间复杂度。
• 实验评估表明，基于前缀表的算法（ECP）在速度和可扩展性方面均优于基于边界数组的算法（ECB），在长度为 2 到 30 的所有二元字符串上均表现出线性行为。
• 通过使用前缀表的压缩 POS/LEN 表示形式，可进一步优化算法，实际中显著降低空间使用量。