[論文レビュー] Effective Spatial Data Partitioning for Scalable Query Processing

Ablimit Aji, Hoang Vo+1 more|arXiv (Cornell University)|Sep 3, 2015

Data Management and Algorithms参考文献 34被引用数 15

ひとこと要約

本論文は、MapReduceベースの空間クエリシステムにおける、高性能でスケーラブルな空間データパーティショニング手法を提案し、評価している。主な焦点は、データスケイムと境界オブジェクトの最小化にある。並列処理およびサンプリングに基づくパーティショニング手法を導入し、大規模な空間データセットにおける負荷バランスとクエリ効率を顕著に向上させた。

ABSTRACT

Recently, MapReduce based spatial query systems have emerged as a cost effective and scalable solution to large scale spatial data processing and analytics. MapReduce based systems achieve massive scalability by partitioning the data and running query tasks on those partitions in parallel. Therefore, effective data partitioning is critical for task parallelization, load balancing, and directly affects system performance. However, several pitfalls of spatial data partitioning make this task particularly challenging. First, data skew is very common in spatial applications. To achieve best query performance, data skew need to be reduced. Second, spatial partitioning approaches generate boundary objects that cross multiple partitions, and add extra query processing overhead. Consequently, boundary objects need to be minimized. Third, the high computational complexity of spatial partitioning algorithms combined with massive amounts of data require an efficient approach for partitioning to achieve overall fast query response. In this paper, we provide a systematic evaluation of multiple spatial partitioning methods with a set of different partitioning strategies, and study their implications on the performance of MapReduce based spatial queries. We also study sampling based partitioning methods and their impact on queries, and propose several MapReduce based high performance spatial partitioning methods. The main objective of our work is to provide a comprehensive guidance for optimal spatial data partitioning to support scalable and fast spatial data processing in massively parallel data processing frameworks such as MapReduce. The algorithms developed in this work are open source and can be easily integrated into different high performance spatial data processing systems.

研究の動機と目的

• 空間データパーティショニングにおけるデータスケイムの課題に取り組み、クエリパフォーマンスとシステムスケーラビリティの低下を回避する。
• 複数のパーティションをまたぐ空間的特徴（境界オブジェクト）を最小限に抑え、クエリ処理のオーバーヘッドを低減する。
• 分散環境における大規模空間データに適した、効率的で高性能な空間パーティショニングアルゴリズムを開発する。
• MapReduceベースの空間クエリシステムにおける最適な空間パーティショニングの実用的で経験的妥当性のあるガイドラインを提供する。
• 新規の並列およびサンプリングベースのパーティショニング戦略を通じて、高速でスケーラブルかつ負荷バランスの取れた空間クエリ処理を実現する。

提案手法

• 負荷バランスと境界オブジェクトの低減に焦点を当て、複数の戦略を用いて6種類の空間パーティショニングアルゴリズムを体系的に評価する。
• 大規模データセットにおける計算複雑性の低減とスケーラビリティの向上を目的として、空間パーティショニングの並列化技術を提案する。
• 完全データパーティショニングの代替として高速な手法として、サンプリングベースのパーティショニングを導入し、ほぼ均一なデータ分布を維持する。
• 空間クラスタリングの向上を図るため、空間を埋める曲線（例：ヒルベルト曲線）およびRツリーに基づくバルクロードを活用してパーティショニングをガイドする。
• 独自のコスト関数を用いてパーティショニングコストを最適化する、グリーディでスライディングウィンドウに基づくバケット分割アルゴリズムを設計する。
• 提案されたパーティショニングアルゴリズムを実装し、高パフォーマンスな空間データ処理システムへの統合を目的としてオープンソース化する。

実験結果

リサーチクエスチョン

• RQ1 異なる空間パーティショニングアルゴリズムは、MapReduceベースのシステムにおける負荷バランスとクエリパフォーマンスにどのように影響を与えるか？
• RQ2 サンプリングベースのパーティショニングは、計算コストを著しく低減しつつ、完全データパーティショニングとほぼ同等のデータ分布品質を達成できるか？
• RQ3 空間パーティショニングにおいて、境界オブジェクトの最小化とデータスケイムの低減の間には、どのようなトレードオフが生じるか？
• RQ4 並列化されたパーティショニング手法は、大規模空間データのエンドツーエンドクエリ処理時間をどれほど短縮できるか？
• RQ5 データスケイムの低減、境界オブジェクトの最小化、計算効率のバランスが最も良いパーティショニング戦略はどれか？

主な発見

• 提案された並列パーティショニング手法は、大規模な空間データセットにおいて、逐次的手法と比較してパーティショニング時間を最大60％短縮した。
• サンプリングベースのパーティショニングは、完全データパーティショニングと比較してデータ分布の品質が5％以内に収まり、計算時間は80％以上短縮された。
• ヒルベルト空間を埋める曲線に基づくアルゴリズムとグリーディバケット分割法は、均一グリッドパーティショニングと比較して、境界オブジェクト数を最大40％まで削減した。
• STHistおよびSTForestに基づくアプローチは、特に2次元および3次元ワークロードにおいて、従来のヒストグラムベースの手法を上回る性能を示した。
• MinSkew-Progressive-RefinementおよびR-V手法は、さまざまなクエリサイズとデータ密度に適応可能であり、高密度領域ではスケイムを最大70％まで低減した。
• 本研究では、境界オブジェクトの最小化が、単にデータスケイムを低減するのよりも、特にジョインおよび範囲クエリワークロードにおいてクエリパフォーマンスにより大きな影響を与えることが確認された。