[论文解读] Exploiting New Properties of String Net Frequency for Efficient Computation

Peaker Guo, P. Eades+2 more|arXiv (Cornell University)|Jan 1, 2024

Algorithms and Data Compression被引用 1

一句话总结

本文提出了一种字符串网络频率（NF）的新表征方式，简化了其定义，并通过后缀数组、LCP数组、Burrows-Wheeler变换组件以及彩色范围列表技术，实现了高效计算。作者提出了单个NF（O(m + σ)时间）和全部NF（O(n)时间）的线性时间算法，相较于基线方法实现最高达100倍的加速，确立了NF作为在大规模文本中识别重要字符串的实用方法。

ABSTRACT

Knowing which strings in a massive text are significant -- that is, which strings are common and distinct from other strings -- is valuable for several applications, including text compression and tokenization. Frequency in itself is not helpful for significance, because the commonest strings are the shortest strings. A compelling alternative is net frequency, which has the property that strings with positive net frequency are of maximal length. However, net frequency remains relatively unexplored, and there is no prior art showing how to compute it efficiently. We first introduce a characteristic of net frequency that simplifies the original definition. With this, we study strings with positive net frequency in Fibonacci words. We then use our characteristic and solve two key problems related to net frequency. First, extsc{single-nf}, how to compute the net frequency of a given string of length $m$, in an input text of length $n$ over an alphabet size $σ$. Second, extsc{all-nf}, given length-$n$ input text, how to report every string of positive net frequency. Our methods leverage suffix arrays, components of the Burrows-Wheeler transform, and solution to the coloured range listing problem. We show that, for both problems, our data structure has $O(n)$ construction cost: with this structure, we solve extsc{single-nf} in $O(m + σ)$ time and extsc{all-nf} in $O(n)$ time. Experimentally, we find our method to be around 100 times faster than reasonable baselines for extsc{single-nf}. For extsc{all-nf}, our results show that, even with prior knowledge of the set of strings with positive net frequency, simply confirming that their net frequency is positive takes longer than with our purpose-designed method.

研究动机与目标

• 通过利用网络频率（NF）识别大规模文本中的显著字符串，NF可捕获在更长上下文之外仍最大程度重复的子串。
• 解决尽管NF在自然语言处理和基因组分析中已被证明具有实用性，但缺乏高效计算算法的问题。
• 利用先进的字符串数据结构，设计实用的线性时间算法，解决单个NF和全部NF问题。
• 在真实数据集（如DNA和新闻文本）上，通过实证验证所提方法的效率与可扩展性。

提出的方法

• 提出NF的一种新表征方式，简化原始定义，支持高效算法设计。
• 利用后缀数组和LCP数组高效定位并验证子串的网络出现次数。
• 利用Burrows-Wheeler变换中的LF映射，导航后缀数组结构并支持范围查询。
• 应用彩色范围列表问题的解决方案，识别文本中具有正网络频率的字符串。
• 设计两种算法：算法2用于高效计算全部NF提取，算法3用于全部NF报告，两者均实现O(n)时间复杂度。
• 优化缓存效率并避免栈操作，以提升实际性能，尤其在大规模数据集上表现更优。

实验结果

研究问题

• RQ1 能否推导出NF的简化表征方式，以支持高效算法计算？
• RQ2 是否可能在O(m + σ)时间内计算单个查询字符串的网络频率，其中m为查询长度，σ为字母表大小？
• RQ3 对于长度为n的文本，能否在O(n)时间内报告所有具有正网络频率的字符串？
• RQ4 所提方法在实际中与基线方法相比，在单个NF和全部NF计算上的表现如何？
• RQ5 字符串频率和长度对查询性能有何影响？混合策略能否进一步提升效率？

主要发现

• 所提单个NF方法相较于合理基线，最高实现100倍加速，尤其在低频查询中表现显著。
• 在全部NF提取任务中，尽管L ≥ N，算法2在实际中仍比算法3更快，原因在于更好的缓存行为和无栈操作。
• 在DNA数据集上，尽管输入规模最大，该方法仍为最快，因其识别出的正网络频率字符串数量远少于其他方法。
• 全部NF报告任务比全部NF提取更慢，原因在于随机访问开销，但两者均在O(n)时间内完成。
• 实证结果表明，即使已知候选字符串，确认其网络频率为正的效率仍低于使用专门设计的算法。
• 作者证明了Ω(n) ≤ N ≤ L ≤ O(n log δ)，其中N与L之间的差距仍为开放问题。