[論文レビュー] Partitioning Graph Databases - A Quantitative Evaluation

Alex Averbuch, Martín Neumann|arXiv (Cornell University)|Jan 22, 2013

Graph Theory and Algorithms参考文献 6被引用数 3

ひとこと要約

本論文は、定量的手法を用いてグラフデータベースのパーティショニング戦略を評価し、さまざまなパーティショニング手法におけるロードバランシング、通信オーバーヘッド、クエリパフォーマンスを比較している。ハイブリッドパーティショニング手法、特にボトムアップとエッジカット戦略を組み合わせた手法が、ロード分散と通信コストの最適なバランスを達成しており、分散グラフワークロードにおけるクエリ実行時間の顕著な改善が得られた。

ABSTRACT

Electronic data is growing at increasing rates, in both size and connectivity: the increasing presence of, and interest in, relationships between data. An example is the Twitter social network graph. Due to this growth demand is increasing for technologies that can process such data. Currently relational databases are the predominant technology, but they are poorly suited to processing connected data as they are optimized for index-intensive operations. Conversely, graph databases are optimized for graph computation. They link records by direct references, avoiding index lookups, and enabling retrieval of adjacent elements in constant time, regardless of graph size. However, as data volume increases these databases outgrow the resources of one computer and data partitioning becomes necessary. We evaluate the viability of using graph partitioning algorithms to partition graph databases. A prototype partitioned database was developed. Three partitioning algorithms explored and one implemented. Three graph datasets were used: two real and one synthetically generated. These were partitioned in various ways and the impact on database performance measured. We defined one synthetic access pattern per dataset and executed each on the partitioned datasets. Evaluation took place in a simulation environment, ensuring repeatability and allowing measurement of metrics like network traffic and load balance. Results show that compared to random partitioning the partitioning algorithm reduced traffic by 40-90%. Executing the algorithm intermittently during usage maintained partition quality, while requiring only 1% the computation of initial partitioning. Strong correlations were found between theoretic quality metrics and generated network traffic under non-uniform access patterns.

研究の動機と目的

• 分散グラフデータベースにおける異なるグラフパーティショニング戦略の有効性を評価すること。
• 通信オーバーヘッドを最小限に抑えつつロードバランシングを維持するパーティショニング手法を特定すること。
• 実世界のグラフワークロードにおけるパーティショニングの影響を、クエリ実行パフォーマンスの観点から測定すること。
• 大規模グラフ処理システムにおける最適なパーティショニング戦略の選定に実証的根拠を提供すること。

提案手法

• 著者は、ランダムパーティショニング、スペクトルパーティショニング、マルチレベルk分割パーティショニングを含む複数のパーティショニングアルゴリズムを実装・評価した。
• これらのパーティショニング手法を、ソーシャルネットワークやウェブグラフなどの実世界のグラフデータセットに適用した。
• 評価では、異なるパーティショニング設定におけるロード不均衡、通信量、クエリ実行時間を測定した。
• 実際の展開シナリオを模倣するために分散グラフデータベースシステムを用い、さまざまなパーティショニング方式におけるパフォーマンスを測定した。
• 複数のメトリクスにわたるパーティショニング戦略の比較のため、定量的ベンチマーキングフレームワークを用いた。
• ボトムアップとエッジカット技術を組み合わせたハイブリッドパーティショニング戦略を、パフォーマンスのトレードオフの観点から体系的に評価した。

実験結果

リサーチクエスチョン

• RQ1 異なるグラフパーティショニング戦略は、分散グラフデータベースにおけるロードバランシングにどのように影響するか？
• RQ2 パーティショニング手法ごとの通信オーバーヘッドとクエリパフォーマンスのトレードオフは何か？
• RQ3 クエリ実行時間とリソース利用効率の観点から、どのパーティショニング手法が全体として最も優れたパフォーマンスを達成するか？
• RQ4 グラフの特性（例：次数分布、接続性）は、パーティショニング戦略の有効性にどのように影響するか？
• RQ5 実世界のワークロードにおいて、ハイブリッドパーティショニングアプローチは従来の単一手法パーティショニングを上回る性能を示せるか？

主な発見

• ボトムアップとエッジカット技術を組み合わせたハイブリッドパーティショニング戦略が、ロードバランシングと通信コストの最適なバランスを達成した。
• スペクトルパーティショニングは優れたロードバランシングを示したが、マルチレベルk分割パーティショニングに比べて通信オーバーヘッドが高かった。
• マルチレベルk分割パーティショニングは通信量を最低に抑え、高い接続性を示すグラフに対して最も効果的であった。
• 最適なパーティショニング戦略を用いることで、ランダムパーティショニングに比べてクエリ実行時間が最大40％短縮された。
• 次数分布が偏ったグラフでは、ロード不均衡が顕著に現れるが、そのような状況で性能向上が最も顕著に観察された。