[论文解读] Online Grammar Compression for Frequent Pattern Discovery

Shouhei Fukunaga, Yoshimasa Takabatake+2 more|arXiv (Cornell University)|Jul 15, 2016

Algorithms and Data Compression参考文献 4被引用 6

一句话总结

本文提出了一种用于频繁模式发现的在线语法压缩算法，相较于以往工作，其近似比显著提升至 $\Omega(\frac{1}{\lg^{*}N\lg m})$，同时在压缩空间中运行。通过集成完全在线的基于ESP的解析方法（FOLCA），该算法实现了对重复字符串的高效流式处理，内存占用极低，相较于离线方法在空间效率上表现更优，同时保持了近乎最优的模式提取性能。

ABSTRACT

Various grammar compression algorithms have been proposed in the last decade. A grammar compression is a restricted CFG deriving the string deterministically. An efficient grammar compression develops a smaller CFG by finding duplicated patterns and removing them. This process is just a frequent pattern discovery by grammatical inference. While we can get any frequent pattern in linear time using a preprocessed string, a huge working space is required for longer patterns, and the whole string must be loaded into the memory preliminarily. We propose an online algorithm approximating this problem within a compressed space. The main contribution is an improvement of the previously best known approximation ratio $Ω(\frac{1}{\lg^2m})$ to $Ω(\frac{1}{\lg^*N\lg m})$ where $m$ is the length of an optimal pattern in a string of length $N$ and $\lg^*$ is the iteration of the logarithm base $2$. For a sufficiently large $N$, $\lg^*N$ is practically constant. The experimental results show that our algorithm extracts nearly optimal patterns and achieves a significant improvement in memory consumption compared to the offline algorithm.

研究动机与目标

• 解决大规模重复字符串中频繁模式发现的挑战，其中离线方法需要过多内存。
• 开发一种在线算法，通过语法压缩近似长频繁模式，且空间开销最小。
• 将理论近似比从 $\Omega(\frac{1}{\lg^{2}m})$ 提升至 $\Omega(\frac{1}{\lg^{*}N\lg m})$，其中 $N$ 为字符串长度，$m$ 为最优模式长度。
• 通过利用完全在线的语法压缩框架（FOLCA），实现对流数据的实际部署。
• 通过实验验证，该算法在显著降低内存消耗的同时，能够提取近乎最优的模式，优于离线方法。

提出的方法

• 该算法使用编辑敏感解析（ESP）识别重复子串，并构建保留频繁模式的紧凑解析树（POSLP）。
• 应用完全在线的语法压缩方法（FOLCA），在压缩空间中构建POSLP，避免加载整个字符串。
• 该方法识别语法中的变量，这些变量可推导出长度为 $\Omega(\frac{|P|}{\lg^{*}N\lg|P|})$ 的子串，其中 $P$ 为任意频繁模式，从而确保强近似保证。
• 利用简洁数据结构，仅使用每个内部节点 $n$ 位来跟踪解析树中变量的频率，最大限度减少空间占用。
• 该算法以流式方式处理字符串，增量构建语法，无需存储整个输入。
• 理论分析建立了近似质量的新下界，通过将分母中的 $\lg^2 m$ 替换为 $\lg^* N \lg m$，在先前工作的基础上实现改进。

实验结果

研究问题

• RQ1 在线语法压缩算法能否在频繁模式发现中实现优于现有离线方法的近似比？
• RQ2 能否在保持空间效率的同时，将近似比从 $\Omega(\frac{1}{\lg^2 m})$ 提升至 $\Omega(\frac{1}{\lg^* N \lg m})$？
• RQ3 是否可能在压缩空间使用下，以流式方式完成语法压缩与频繁模式发现？
• RQ4 在模式质量与内存消耗方面，该在线算法的实际性能与离线方法相比如何？
• RQ5 该算法在高度重复的数据中，能在多大程度上保留长频繁模式？

主要发现

• 所提出的算法实现了 $\Omega(\frac{1}{\lg^{*}N\lg m})$ 的近似比，显著优于先前的 $\Omega(\frac{1}{\lg^2 m})$ 上限。
• 在 einstein 基准测试中，该算法提取的核心部分平均覆盖比达到最优模式长度的 21.6%，表明其具有出色的实用性。
• 在 dna 数据集中，该算法实现了 22.9% 的平均近似比，证明其能一致地提取长频繁模式。
• 内存消耗大幅降低——尤其在大输入情况下，离线后缀数组方法因内存限制而失败。
• 计算时间可接受，尽管在线算法比离线方法慢几倍，但其时间-空间权衡更具优势。
• 该算法在所有基准测试中均成功提取了近乎最优的模式，证实了其在存在理论近似比差距的情况下仍具实际有效性。