[论文解读] A partition-based Summary-Graph-Driven Method for Efficient RDF Query Processing

Lei Gai, Wei Chen+1 more|arXiv (Cornell University)|Oct 27, 2015

Graph Theory and Algorithms参考文献 18被引用 3

一句话总结

该论文提出SGDQ，一种新颖的RDF查询处理框架，通过将数据划分为可管理的块，并利用摘要图来驱动基于子图匹配的高效查询执行。通过将查询分解为独立的子查询并利用摘要图匹配，SGDQ避免了产生大规模中间结果，并在复杂基准测试中持续优于现有最先进系统。

ABSTRACT

RDF query optimization is a challenging problem. Although considerable factors and their impacts on query efficiency have been investigated, this problem still needs further investigation. We identify that decomposing query into a series of light-weight operations is also effective in boosting query processing. Considering the linked nature of RDF data, the correlations among operations should be carefully handled. In this paper, we present SGDQ, a novel framework that features a partition-based Summary Graph Driven Query for efficient query processing. Basically, SGDQ partitions data and models partitions as a summary graph. A query is decomposed into subqueries that can be answered without inter-partition processing. The final results are derived by perform summary graph matching and join the results generated by all matched subqueries. In essence, SGDQ combines the merits of graph match processing and relational join-based query implementation. It intentionally avoids maintain huge intermediate results by organizing sub-query processing in a summary graph driven fashion. Our extensive evaluations show that SGDQ is an effective framework for efficient RDF query processing. Its query performance consistently outperforms the representative state-of-the-art systems.

研究动机与目标

• 解决大规模链接数据环境中RDF查询处理效率低下的挑战。
• 减少传统基于关系连接的查询方法中因海量中间结果导致的内存开销。
• 通过利用图结构和子图匹配技术改进跨分区处理的查询性能。
• 设计一种支持高效分区子查询处理的物理数据布局和查询执行模型。
• 在复杂的真实世界RDF工作负载上评估该框架，并证明其在性能上优于现有系统。

提出的方法

• 将RDF数据划分为更小、可管理的片段，以支持独立的子查询处理。
• 构建一个建模跨分区关系的摘要图，用于指导子查询执行。
• 将完整查询分解为无需跨分区协调即可处理的子查询。
• 使用摘要图匹配识别相关分区并驱动子查询执行。
• 实现辅助模式过滤和重复项防止机制，以优化子查询处理。
• 通过由摘要图驱动的高效连接操作合并子查询结果，生成最终输出。

实验结果

研究问题

• RQ1 通过分区RDF数据并使用摘要图指导子查询执行，能否减少中间结果规模并提升查询性能？
• RQ2 与传统关系连接相比，子图匹配在建模跨分区查询处理方面的有效性如何？
• RQ3 将查询分解为轻量级子查询在多大程度上提升了在大规模RDF数据集上的可扩展性？
• RQ4 与现有系统相比，SGDQ在复杂且高度连接的RDF工作负载（如SNIB和LUBM）上的表现如何？
• RQ5 所提出的物理数据布局和操作能否高效支持子查询处理和摘要图匹配？

主要发现

• SGDQ在LUBM和SNIB基准测试中持续优于三种代表性RDF系统——RDF-3X、Virtuoso 7和TripleBit。
• 在LUBM-8000和LUBM-20480上，SGDQ的响应时间分别为1,953,027毫秒和227,932毫秒，显著低于竞争对手。
• 对于选择性高且结构复杂的查询，SGDQ保持了卓越性能，而RDF-3X在更大数据集上无法返回结果。
• TripleBit对大多数查询返回了错误结果，凸显了SGDQ在结果正确性和优化方面的稳健性。
• SGDQ中OP sp（子查询操作）的执行效率高，简单模式的平均耗时为1毫秒，三角形模式为10–20毫秒，显著贡献于整体性能提升。
• OP sp操作的数量随查询复杂度增加而增长，而SGDQ能高效管理这些操作，尤其在SNIB等高度连接的图中表现优异。