[论文解读] Adaptive Partitioning for Very Large RDF Data

Razen Harbi, Ibrahim Abdelaziz+4 more|arXiv (Cornell University)|May 11, 2015

Graph Theory and Algorithms参考文献 26被引用 4

一句话总结

AdHash 是一个分布式 RDF 系统，通过轻量级基于主体的哈希分区技术，在查询处理过程中最小化通信开销，同时通过动态重分配和复制频繁访问的模式，自适应地响应查询工作负载。该系统在百亿规模 RDF 数据上实现了亚秒级查询性能，且启动开销和复制开销均低于以往系统。

ABSTRACT

Distributed RDF systems partition data across multiple computer nodes (workers). Some systems perform cheap hash partitioning, which may result in expensive query evaluation, while others apply heuristics aiming at minimizing inter-node communication during query evaluation. This requires an expensive data preprocessing phase, leading to high startup costs for very large RDF knowledge bases. Apriori knowledge of the query workload has also been used to create partitions, which however are static and do not adapt to workload changes; hence, inter-node communication cannot be consistently avoided for queries that are not favored by the initial data partitioning. In this paper, we propose AdHash, a distributed RDF system, which addresses the shortcomings of previous work. First, AdHash applies lightweight partitioning on the initial data, that distributes triples by hashing on their subjects; this renders its startup overhead low. At the same time, the locality-aware query optimizer of AdHash takes full advantage of the partitioning to (i)support the fully parallel processing of join patterns on subjects and (ii) minimize data communication for general queries by applying hash distribution of intermediate results instead of broadcasting, wherever possible. Second, AdHash monitors the data access patterns and dynamically redistributes and replicates the instances of the most frequent ones among workers. As a result, the communication cost for future queries is drastically reduced or even eliminated. To control replication, AdHash implements an eviction policy for the redistributed patterns. Our experiments with synthetic and real data verify that AdHash (i) starts faster than all existing systems, (ii) processes thousands of queries before other systems become online, and (iii) gracefully adapts to the query load, being able to evaluate queries on billion-scale RDF data in sub-seconds.

研究动机与目标

• 解决现有分布式 RDF 系统因昂贵预处理或静态工作负载导致的高启动成本和分区方式僵化的问题。
• 通过利用数据局部性和动态工作负载适应，减少 SPARQL 查询评估过程中的节点间通信。
• 通过最小化复制和通信开销并维持负载均衡，实现对超大规模 RDF 数据集的高效可扩展处理。
• 通过运行时监控和增量数据重分配，支持对变化的查询工作负载的动态适应。

提出的方法

• 通过在三元组主体上应用轻量级哈希函数进行初始数据分区，确保启动成本低且初始负载均衡性良好。
• 查询优化器使用中间结果的哈希分布代替广播，以最小化通用查询的通信开销。
• AdHash 监控查询访问模式，识别频繁执行的模式（热点模式），并进行动态重分配。
• 利用基于哈希的重分配机制，将热点模式在相关工作节点之间复制，同时保持数据局部性。
• 通过驱逐策略管理复制，移除访问频率较低的模式以控制存储开销。
• 系统通过增量重分区和重索引热点模式，无需完整数据重载，即可动态适应工作负载变化。

实验结果

研究问题

• RQ1 一个分布式 RDF 系统是否能在保持复杂 SPARQL 查询通信开销最小化的同时，实现低启动成本？
• RQ2 如何通过动态工作负载适应在大规模 RDF 系统中提升查询性能，同时避免高复制开销？
• RQ3 基于哈希的分区和运行时模式重分配在多大程度上能够减少分布式 RDF 查询评估中的节点间通信？
• RQ4 在不同数据规模和查询工作负载下，系统如何维持负载均衡和可扩展性？

主要发现

• 由于采用轻量级初始分区机制，AdHash 启动速度优于所有现有系统，可在竞争者上线前处理数千个查询。
• 在百亿规模 RDF 数据上，AdHash 实现了亚秒级查询响应，展现出在真实工作负载下的卓越性能。
• 与以往系统相比，AdHash 显著降低了通信开销和复制开销，WatDiv-1B 上平均复制比率为 1.33%，LUBM-10240 上为 1.39%。
• 系统实现了优异的数据和工作负载均衡，各工作节点间三元组分布的标准差低于 0.07，确保了工作负载的均衡性。
• AdHash 展现出接近最优的强可扩展性，随着工作节点数量的增加，性能持续提升，尤其在可并行查询中表现更优。
• 用于模式选择的 QDegree 启发式方法在保持低通信开销的同时实现了最少的复制量，在 WatDiv-1B 上优于其他启发式方法。