[论文解读] Compressed k2-Triples for Full-In-Memory RDF Engines

Sandra Álvarez-García, Nieves R. Brisaboa+2 more|arXiv (Cornell University)|May 20, 2011

Semantic Web and Ontologies参考文献 9被引用 34

一句话总结

本文提出 k2-triples，一种基于紧凑 k2-tree 索引的压缩、全内存 RDF 存储结构，可在大规模 RDF 数据集上实现超高效、无需解压缩的 SPARQL 查询处理。通过将 k2-tree 应用于垂直分区的 RDF 数据，该方法在保持全内存存储的同时，实现了卓越的压缩率与性能，其查询速度优于传统垂直分区和多索引系统。

ABSTRACT

Current "data deluge" has flooded the Web of Data with very large RDF datasets. They are hosted and queried through SPARQL endpoints which act as nodes of a semantic net built on the principles of the Linked Data project. Although this is a realistic philosophy for global data publishing, its query performance is diminished when the RDF engines (behind the endpoints) manage these huge datasets. Their indexes cannot be fully loaded in main memory, hence these systems need to perform slow disk accesses to solve SPARQL queries. This paper addresses this problem by a compact indexed RDF structure (called k2-triples) applying compact k2-tree structures to the well-known vertical-partitioning technique. It obtains an ultra-compressed representation of large RDF graphs and allows SPARQL queries to be full-in-memory performed without decompression. We show that k2-triples clearly outperforms state-of-the-art compressibility and traditional vertical-partitioning query resolution, remaining very competitive with multi-index solutions.

研究动机与目标

• 解决大规模 RDF 数据集超出主内存容量时 RDF 引擎面临的性能瓶颈问题。
• 克服传统垂直分区和多索引系统在内存占用和查询效率方面的局限性。
• 设计一种存储结构，即使在超大规模 RDF 图数据下，也能实现无需解压缩的全内存 SPARQL 查询处理。
• 通过先进的数据结构实现高数据压缩率，同时保持快速的查询响应速度。

提出的方法

• 将 k2-tree 数据结构应用于压缩和索引垂直分区的 RDF 三元组（主体、谓词、客体）。
• 利用 k2-tree 的紧凑表示方式，分别存储和压缩每个 RDF 成分（S、P、O），以支持高效的随机访问。
• 将 k2-tree 与垂直分区结合，最小化存储开销，并在 SPARQL 查询执行过程中支持快速连接操作。
• 确保所有查询处理操作均可直接在压缩数据结构上完成，无需完整解压缩。
• 优化存储布局，以支持快速范围查询和索引查找，这对 SPARQL 代数操作至关重要。

实验结果

研究问题

• RQ1 能否设计一种紧凑的、全内存的 RDF 存储结构，实现无需解压缩的完整查询处理？
• RQ2 与传统垂直分区相比，基于 k2-tree 的垂直分区 RDF 数据压缩在内存使用和查询速度方面表现如何？
• RQ3 k2-triples 在压缩率和性能方面，相较于多索引系统能提升多少？
• RQ4 是否可行通过单一索引结构在大规模 RDF 图上同时实现高数据压缩率和低延迟查询处理？

主要发现

• k2-triples 的压缩率显著优于传统垂直分区方法，大幅降低了存储开销。
• 该系统实现了无需解压缩的全内存 SPARQL 查询处理，彻底消除了磁盘 I/O 瓶颈。
• k2-triples 的查询性能优于最先进的压缩技术和传统垂直分区方法。
• k2-triples 在性能上与复杂的多索引系统相当，同时提供更简洁的单一索引替代方案。