[论文解读] Fast In-Memory XPath Search over Compressed Text and Tree Indexes

Diego Arroyuelo, Francisco Claude+6 more|arXiv (Cornell University)|Jul 13, 2009

Algorithms and Data Compression参考文献 56被引用 9

一句话总结

该论文提出SXSI，一种基于压缩自索引的快速内存内XPath查询系统，用于同时索引XML文本内容与树状结构。通过将压缩文本索引（RLCSA）与简洁的树表示法（括号和标签的位向量）相结合，SXSI利用树自动机与自适应查询优化，实现高效的混合XPath查询，在文本密集型查询上相比现有系统实现1–3个数量级的性能提升，同时内存占用不超过原始文档大小的两倍。

ABSTRACT

A large fraction of an XML document typically consists of text data. The XPath query language allows text search via the equal, contains, and starts-with predicates. Such predicates can efficiently be implemented using a compressed self-index of the document's text nodes. Most queries, however, contain some parts of querying the text of the document, plus some parts of querying the tree structure. It is therefore a challenge to choose an appropriate evaluation order for a given query, which optimally leverages the execution speeds of the text and tree indexes. Here the SXSI system is introduced; it stores the tree structure of an XML document using a bit array of opening and closing brackets, and stores the text nodes of the document using a global compressed self-index. On top of these indexes sits an XPath query engine that is based on tree automata. The engine uses fast counting queries of the text index in order to dynamically determine whether to evaluate top-down or bottom-up with respect to the tree structure. The resulting system has several advantages over existing systems: (1) on pure tree queries (without text search) such as the XPathMark queries, the SXSI system performs on par or better than the fastest known systems MonetDB and Qizx, (2) on queries that use text search, SXSI outperforms the existing systems by 1--3 orders of magnitude (depending on the size of the result set), and (3) with respect to memory consumption, SXSI outperforms all other systems for counting-only queries.

研究动机与目标

• 设计一种紧凑的内存索引以支持XML数据的高效XPath查询执行，且无需依赖磁盘存储。
• 将文本内容与树结构的压缩自索引集成到统一的查询系统中。
• 通过利用文本索引的快速计数能力，自动选择最优的查询执行策略（自顶向下或自底向上），以实现性能最大化。
• 在涉及结构与文本谓词的混合XPath查询中实现高性能。
• 确保内存使用量保持在原始文档大小的两倍以内，从而支持完全的内存操作。

提出的方法

• 使用括号的位向量表示XML树结构，并通过节点标签序列进行扩展。
• 使用RLCSA（运行长度压缩后缀数组）数据结构，将所有文本节点存储于全局压缩自索引中。
• 利用树自动机评估XPath查询，根据文本索引的快速计数结果，动态选择自顶向下或自底向上的遍历策略。
• 利用简洁数据结构在位向量和文本索引上高效支持rank/select操作，以实现快速导航与模式匹配。
• 扩展文本索引以支持PSSM（位置特异性评分矩阵）查询，用于生物序列模式匹配，且无需修改核心查询引擎。
• 通过将文本索引扩展（如PSSM）与树结构及自动机逻辑分离，优化查询执行效率。

实验结果

研究问题

• RQ1 基于压缩自索引的内存内XML索引是否能在涉及结构与文本的混合XPath查询中超越现有系统？
• RQ2 如何根据索引特性自动选择最优的查询执行策略（自顶向下 vs. 自底向上）以实现性能最大化？
• RQ3 自索引的XML表示在支持高效XPath查询的同时，能在多大程度上减少内存使用？
• RQ4 是否可以将PSSM等高级文本索引技术无缝集成到XPath引擎中，而无需修改其核心逻辑？
• RQ5 该系统在不同结果集大小与查询类型下的性能扩展性如何？

主要发现

• 在纯树查询（如XPathMark）中，SXSI的性能与MonetDB和Qizx（目前已知最快系统）相当或更优。
• 在涉及文本搜索的混合查询中，SXSI相比现有系统实现1–3个数量级的性能提升，具体取决于结果集大小。
• 在所有测试数据与查询中，SXSI的内存占用始终控制在原始XML文档大小的两倍以内。
• 对生物序列（如启动子与外显子区域）的PSSM查询被高效支持，大规模结果集的端到端查询时间低于100ms。
• 对于文本密集型查询，系统性能优势尤为显著，文本索引通过快速计数显著贡献于性能提升。
• 模块化设计使得可透明扩展新型文本查询功能（如PSSM），而无需修改树结构或自动机构件，充分体现了系统的可扩展性。