[论文解读] gSMat: A Scalable Sparse Matrix-based Join for SPARQL Query Processing

Xiaowang Zhang, Mingyue Zhang+4 more|arXiv (Cornell University)|Jul 20, 2018

Graph Theory and Algorithms参考文献 33被引用 4

一句话总结

本文提出 gSMat，一种基于可扩展稀疏矩阵的 SPARQL 查询处理方法，适用于大规模 RDF 数据集。通过将 RDF 数据建模为按谓词划分的稀疏矩阵，并利用矩阵乘法执行连接操作，gSMat 实现了高效率与可扩展性，在真实数据集上相比 gStore 最快提升 114 倍，相比 RDF-3X 提升 53 倍，尤其得益于基于 CUDA 的 GPU 加速。

ABSTRACT

Resource Description Framework (RDF) has been widely used to represent information on the web, while SPARQL is a standard query language to manipulate RDF data. Given a SPARQL query, there often exist many joins which are the bottlenecks of efficiency of query processing. Besides, the real RDF datasets often reveal strong data sparsity, which indicates that a resource often only relates to a few resources even the number of total resources is large. In this paper, we propose a sparse matrix-based (SM-based) SPARQL query processing approach over RDF datasets which con- siders both join optimization and data sparsity. Firstly, we present a SM-based storage for RDF datasets to lift the storage efficiency, where valid edges are stored only, and then introduce a predicate- based hash index on the storage. Secondly, we develop a scalable SM-based join algorithm for SPARQL query processing. Finally, we analyze the overall cost by accumulating all intermediate results and design a query plan generated algorithm. Besides, we extend our SM-based join algorithm on GPU for parallelizing SPARQL query processing. We have evaluated our approach compared with the state-of-the-art RDF engines over benchmark RDF datasets and the experimental results show that our proposal can significantly improve SPARQL query processing with high scalability.

研究动机与目标

• 解决大规模稀疏 RDF 数据上 SPARQL 查询处理因低效连接操作导致的性能瓶颈。
• 利用真实世界 RDF 数据集（如 DBpedia、YAGO）的固有稀疏性，设计更紧凑高效的存储模型。
• 开发一种基于矩阵的连接算法，利用数据稀疏性并支持高度并行化，以实现高效的查询执行。
• 基于中间结果大小的代价估计优化查询执行计划，以提升性能。
• 扩展方法以支持 GPU 加速，进一步提升大规模工作负载下的可扩展性与性能。

提出的方法

• 将每个 RDF 谓词表示为稀疏矩阵，仅存储非零（有效）边，以利用数据稀疏性并减少存储开销。
• 在稀疏矩阵存储上应用基于谓词的哈希索引，以加速访问与连接操作。
• 将 SPARQL 基本图模式（BGPs）建模为一系列稀疏矩阵乘法，其中每个三元组模式对应一个矩阵。
• 使用矩阵乘法计算关系之间的自然连接，实现对矩阵元素的细粒度并行化。
• 设计基于代价的查询计划生成器，估计中间结果大小并选择最优连接顺序以最小化整体执行代价。
• 使用 CUDA 实现 GPU 优化版本，以并行化矩阵乘法并在现代硬件上加速查询处理。

实验结果

研究问题

• RQ1 如何有效利用稀疏矩阵表示来建模和存储大规模稀疏 RDF 数据集，以实现高存储效率与查询效率？
• RQ2 在 SPARQL 查询处理中，稀疏矩阵上的矩阵乘法操作是否可作为传统连接算法的可扩展且高效的替代方案？
• RQ3 基于中间结果估计的基于代价的查询优化如何提升 SPARQL 查询执行的性能？
• RQ4 GPU 加速在大规模 RDF 工作负载上对基于稀疏矩阵的 SPARQL 连接性能的提升程度如何？
• RQ5 在真实世界数据集上，所提出的 gSMat 方法与 gStore 和 RDF-3X 等最先进的 RDF 系统相比，在性能与可扩展性方面表现如何？

主要发现

• 在包含 5 亿个三元组的基准数据集上，gSMat 相比 gStore 最快提升 114 倍，相比 RDF-3X 提升 11.3 倍。
• 在真实数据集上，对于复杂 SPARQL 查询，gSMat 相比 gStore 最快提升 46.4 倍，相比 RDF-3X 提升 33.6 倍。
• GPU 加速版本 gSMat+ 在基准数据上相比 gStore 最快提升 128.8 倍，相比 RDF-3X 提升 16.13 倍。
• 在真实数据集上，gSMat+ 相比 gStore 最快提升 78.9 倍，相比 RDF-3X 提升 53.0 倍，表明其在生产工作负载中具有强大的可扩展性。
• 基于代价的查询计划生成器显著减少了中间结果大小，相比朴素连接顺序，生成了更高效的执行计划。
• 基于稀疏矩阵的存储方式降低了内存占用，并支持高效、高度可并行化的计算，使其非常适用于大规模 RDF 数据。