[论文解读] Improved ESP-index: a practical self-index for highly repetitive texts

Yoshimasa Takabatake, Yasuo Tabei+1 more|arXiv (Cornell University)|Apr 19, 2014

Natural Language Processing Techniques参考文献 10被引用 9

一句话总结

本文提出ESP-index-I，一种针对高度重复文本的改进型自索引，通过使用简洁数据结构中的快速rank/select操作替代ESP-index中的二分查找，加速查询搜索。该方法在保持高压缩率的同时，显著提升了查询性能，在真实世界中的重复数据集（包括基因组和Wikipedia）上，其速度和空间效率均优于SLP-index、LZ-index和FM-index。

ABSTRACT

While several self-indexes for highly repetitive texts exist, developing a practical self-index applicable to real world repetitive texts remains a challenge. ESP-index is a grammar-based self-index on the notion of edit-sensitive parsing (ESP), an efficient parsing algorithm that guarantees upper bounds of parsing discrepancies between different appearances of the same subtexts in a text. Although ESP-index performs efficient top-down searches of query texts, it has a serious issue on binary searches for finding appearances of variables for a query text, which resulted in slowing down the query searches. We present an improved ESP-index (ESP-index-I) by leveraging the idea behind succinct data structures for large alphabets. While ESP-index-I keeps the same types of efficiencies as ESP-index about the top-down searches, it avoid the binary searches using fast rank/select operations. We experimentally test ESP-index-I on the ability to search query texts and extract subtexts from real world repetitive texts on a large-scale, and we show that ESP-index-I performs better that other possible approaches.

研究动机与目标

• 解决ESP-index在查询处理过程中因二分查找速度慢而导致的性能瓶颈。
• 开发一种适用于大规模重复文本（如基因组序列和版本控制源代码）的实用语法压缩自索引。
• 在不牺牲语法压缩自索引固有的高压缩率的前提下，提升查询搜索效率。
• 实现对超过32位输入限制的海量重复文本集合的可扩展处理，而此前的方法在该场景下会失效。

提出的方法

• 使用基于rank/select字典的单个位串和整数数组，替代ESP-index中基于DAG编码的结构，以支持大字符集。
• 利用O(1)时间复杂度的快速select操作，消除在查询匹配中定位变量出现位置时的二分查找。
• 采用简洁表示法编码ESP解析树，支持高效的自顶向下遍历和子文本提取。
• 集成编辑敏感解析（ESP）框架，确保在重复子文本中保持解析差异的有界性。
• 通过从ESP解析导出的上下文无关文法（CFG）的紧凑表示，最小化空间使用。
• 通过优化语法索引结构的遍历，支持计数和定位查询。

实验结果

研究问题

• RQ1 能否消除ESP-index中因二分查找导致的性能瓶颈，从而提升查询性能？
• RQ2 用基于rank/select的简洁结构替代传统DAG编码，是否能实现更快的查询时间？
• RQ3 改进后的索引能否扩展到大规模重复文本（如12GB人类基因组和7.8GB Wikipedia数据集）？
• RQ4 在真实世界数据上，ESP-index-I与SLP-index、LZ-index和FM-index相比，在空间效率和查询速度方面表现如何？
• RQ5 该新型编码方法在涉及高度重复数据的实际应用中是否具有实用性？

主要发现

• 在200MB的DNA和英文文本上，ESP-index-I将计数和定位查询时间相比ESP-index减少了1.4至4.3倍。
• ESP-index-I在所有测试方法中拥有最小的内存占用，分别仅使用156MB和165MB的内存来索引DNA和英文文本，优于FM-index的325MB和482MB。
• ESP-index-I的构建时间与ESP-index相当（约80–95秒），且远快于SLP-index（超过1,900秒）。
• 在12GB人类基因组和7.8GB Wikipedia文本上，ESP-index-I成功索引并处理了超出32位限制的数据，而其他方法在此场景下均失败。
• ESP-index-I在语法压缩自索引中表现出具有竞争力的子文本提取速度，在大规模重复数据集上优于SLP-index和LZ-index。
• 该方法在12GB基因组上实现3.8GB的索引大小，在7.8GB Wikipedia上实现594MB的索引大小，位置存储分别仅需1.5GB和246MB，显示出极高的可压缩性。