[论文解读] Compressed Vertical Partitioning for Full-In-Memory RDF Management

Sandra Álvarez-García, Nieves R. Brisaboa+3 more|arXiv (Cornell University)|Oct 18, 2013

Semantic Web and Ontologies参考文献 39被引用 4

一句话总结

本文提出 k²-triples，一种用于全内存 RDF 管理的压缩垂直分区技术，将每个谓词的主体-客体对表示为稀疏二值矩阵，并使用 k²-树进行高效压缩。该方法在空间使用上最多减少 10 倍，SPARQL 查询解析速度比现有最先进基线系统快 5–7 个数量级，且经过优化的连接算法在关键查询模式下优于现有系统。

ABSTRACT

The Web of Data has been gaining momentum and this leads to increasingly publish more semi-structured datasets following the RDF model, based on atomic triple units of subject, predicate, and object. Although it is a simple model, compression methods become necessary because datasets are increasingly larger and various scalability issues arise around their organization and storage. This requirement is more restrictive in RDF stores because efficient SPARQL resolution on the compressed RDF datasets is also required. This article introduces a novel RDF indexing technique (called k2-triples) supporting efficient SPARQL resolution in compressed space. k2-triples, uses the predicate to vertically partition the dataset into disjoint subsets of pairs (subject, object), one per predicate. These subsets are represented as binary matrices in which 1-bits mean that the corresponding triple exists in the dataset. This model results in very sparse matrices, which are efficiently compressed using k2-trees. We enhance this model with two compact indexes listing the predicates related to each different subject and object, in order to address the specific weaknesses of vertically partitioned representations. The resulting technique not only achieves by far the most compressed representations, but also the best overall performance for RDF retrieval in our experiments. Our approach uses up to 10 times less space than a state of the art baseline, and outperforms its performance by several order of magnitude on the most basic query patterns. In addition, we optimize traditional join algorithms on k2-triples and define a novel one leveraging its specific features. Our experimental results show that our technique overcomes traditional vertical partitioning for join resolution, reporting the best numbers for joins in which the non-joined nodes are provided, and being competitive in the majority of the cases.

研究动机与目标

• 通过最小化空间使用，解决大规模 RDF 数据集在主内存中的可扩展性挑战。
• 通过先进的压缩与索引技术，克服传统垂直分区和主内存 SPARQL 性能瓶颈的局限性。
• 设计一种紧凑、高效且可扩展的 RDF 存储模型，支持快速三元组模式查询与连接查询。
• 通过结合 k²-树压缩与主体和客体的辅助紧凑索引，实现在主内存中完整的 SPARQL 解析。
• 为 k²-triples 数据结构设计针对真实世界 RDF 工作负载的优化连接算法，以提升性能。

提出的方法

• 按谓词对 RDF 数据集进行垂直分区，为每个谓词创建互不重叠的主体×客体二值矩阵。
• 将每个矩阵表示为稀疏二值结构，其中值为 1 的位表示存在三元组 (主体, 谓词, 客体)。
• 使用 k²-树压缩每个稀疏矩阵，该方法可对稀疏二值数据实现高效压缩与索引访问。
• 通过增加两个额外的紧凑索引增强模型：一个列出每个主体的谓词，另一个列出每个客体的谓词，以支持无界谓词查询。
• 优化传统连接算法，并引入一种基于链式结构的新颖评估策略，以利用 k²-triples 的结构特性。
• 在真实世界 RDF 数据集上实现并评估系统，与现有最先进系统（如 RDF3X 和 MonetDB）在性能与空间使用方面进行对比。

实验结果

研究问题

• RQ1 将垂直分区与 k²-树压缩结合，是否能显著优于现有主内存 RDF 系统，在空间效率与查询性能方面？
• RQ2 为主体和客体添加辅助紧凑索引，对包含无界谓词的 SPARQL 查询性能有何影响？
• RQ3 k²-triples 模型在三元组模式查询与连接查询的查询执行时间与内存占用方面，相较于现有系统能提升多少？
• RQ4 能否设计一种新颖的连接评估策略，以利用 k²-triples 的结构特性，提升连接解析性能？
• RQ5 当中间结果集大小变化时，该系统在不同大小的 RDF 数据集与连接模式下如何扩展，特别是对中间结果集大小变化的适应性如何？

主要发现

• 与最佳现有基线相比，k²-triples 在空间使用上最多减少 10 倍，显著提升了内存效率。
• 对于基本三元组模式查询，系统在 SPARQL 解析速度上比基线快 5–7 个数量级，尤其在谓词固定时表现更优。
• 在非连接节点已知的连接查询中（如连接 A、D、G），k²-triples + 在性能上优于 RDF3X 和 MonetDB，链式评估策略在 OO 连接中表现最优。
• 在谓词无界的情况下，辅助索引确保 k²-triples 保持竞争力，尽管性能相比固定谓词场景略有下降。
• k²-triples + 中基于链式结构的新型连接评估策略在 OO 连接中表现最佳，多数情况下优于 RDF3X 和交互式评估。
• 在涉及小规模中间结果集的连接查询中，k²-triples + 是最快系统，即使在中间结果集较大时仍保持竞争力，尤其在谓词被绑定时表现更优。