[论文解读] Effective Spatial Data Partitioning for Scalable Query Processing

Ablimit Aji, Hoang Vo+1 more|arXiv (Cornell University)|Sep 3, 2015

Data Management and Algorithms参考文献 34被引用 15

一句话总结

本文提出并评估了面向基于MapReduce的空间查询系统的高性能、可扩展的空间数据分区方法，重点在于最小化数据倾斜和边界对象。提出了一种并行化与采样驱动的分区技术，显著提升了大规模空间数据集上的负载均衡性和查询效率。

ABSTRACT

Recently, MapReduce based spatial query systems have emerged as a cost effective and scalable solution to large scale spatial data processing and analytics. MapReduce based systems achieve massive scalability by partitioning the data and running query tasks on those partitions in parallel. Therefore, effective data partitioning is critical for task parallelization, load balancing, and directly affects system performance. However, several pitfalls of spatial data partitioning make this task particularly challenging. First, data skew is very common in spatial applications. To achieve best query performance, data skew need to be reduced. Second, spatial partitioning approaches generate boundary objects that cross multiple partitions, and add extra query processing overhead. Consequently, boundary objects need to be minimized. Third, the high computational complexity of spatial partitioning algorithms combined with massive amounts of data require an efficient approach for partitioning to achieve overall fast query response. In this paper, we provide a systematic evaluation of multiple spatial partitioning methods with a set of different partitioning strategies, and study their implications on the performance of MapReduce based spatial queries. We also study sampling based partitioning methods and their impact on queries, and propose several MapReduce based high performance spatial partitioning methods. The main objective of our work is to provide a comprehensive guidance for optimal spatial data partitioning to support scalable and fast spatial data processing in massively parallel data processing frameworks such as MapReduce. The algorithms developed in this work are open source and can be easily integrated into different high performance spatial data processing systems.

研究动机与目标

• 解决空间数据分区中的数据倾斜问题，该问题会降低查询性能和系统可扩展性。
• 最小化边界对象——即跨越多个分区的空间特征——以减少查询处理的开销。
• 开发适用于分布式环境中大规模空间数据的高效、高性能空间分区算法。
• 为基于MapReduce的空间查询系统提供实用且经实证验证的最优空间分区指导原则。
• 通过新颖的并行化与采样驱动分区策略，实现快速、可扩展且负载均衡的空间查询处理。

提出的方法

• 系统性地在多种策略下评估六种空间分区算法，重点关注负载均衡与边界对象减少。
• 提出空间分区的并行化技术，以降低计算复杂度，并提升在大规模数据集上的可扩展性。
• 引入基于采样的分区方法，作为全量数据分区的快速替代方案，同时保持近似均匀的数据分布。
• 利用空间填充曲线（如Hilbert曲线）和基于R树的批量加载技术，指导分区过程并提升空间聚类效果。
• 设计一种基于贪心策略与滑动窗口的桶分裂算法，利用自定义成本函数优化分区代价。
• 实现并开源所提出的分区算法，便于集成到高性能空间数据处理系统中。

实验结果

研究问题

• RQ1 不同空间分区算法对基于MapReduce的系统中负载均衡与查询性能有何影响？
• RQ2 基于采样的分区方法在显著降低计算成本的前提下，能在多大程度上实现接近最优的数据分布？
• RQ3 在空间分区中，最小化边界对象与保持数据倾斜减少之间的权衡关系如何？
• RQ4 并行化分区方法在减少大规模空间数据端到端查询处理时间方面效果如何？
• RQ5 哪种分区策略在数据倾斜减少、边界对象最小化与计算效率之间实现了最佳平衡？

主要发现

• 所提出的并行分区方法在大规模空间数据集上，相比串行方法，分区时间最多减少60%。
• 基于采样的分区方法在数据分布质量上与全量数据分区相差不足5%，同时计算时间减少超过80%。
• 基于Hilbert空间填充曲线与贪心桶分裂的算法相比均匀网格分区，边界对象数量最多减少40%。
• 基于STHist与STForest的方法在处理倾斜空间数据方面优于传统基于直方图的方法，尤其在2D与3D工作负载中表现更优。
• MinSkew-Progressive-Refinement与R-V方法在应对不同查询大小与数据密度时表现出更优的适应性，在高密度区域中可将倾斜度降低最多达70%。
• 研究结果证实，最小化边界对象对查询性能的影响比单纯减少数据倾斜更为显著，尤其在连接查询与范围查询工作负载中。