[論文レビュー] EmptyHeaded: A Relational Engine for Graph Processing

Christopher R. Aberger, Susan Tu+2 more|arXiv (Cornell University)|Mar 9, 2015

Graph Theory and Algorithms参考文献 62被引用数 13

ひとこと要約

EmptyHeaded は、一般化ハイパートリー分解 (GHD) を用いた最悪ケース最適なジョインアルゴリズム、SIMD最適化されたデータレイアウト、および革新的なクエリ最適化により、低レベルのエンジン性能を実現する高パフォーマンスで関係的なグラフ処理エンジンである。このエンジンは、PageRank や SSSP などの主要なグラフワークロードにおいて、高レベルのエンジンよりも最大3桁の性能向上を達成し、Galois などの低レベルエンジンと同等またはそれ以上の性能を発揮する。

ABSTRACT

There are two types of high-performance graph processing engines: low- and high-level engines. Low-level engines (Galois, PowerGraph, Snap) provide optimized data structures and computation models but require users to write low-level imperative code, hence ensuring that efficiency is the burden of the user. In high-level engines, users write in query languages like datalog (SociaLite) or SQL (Grail). High-level engines are easier to use but are orders of magnitude slower than the low-level graph engines. We present EmptyHeaded, a high-level engine that supports a rich datalog-like query language and achieves performance comparable to that of low-level engines. At the core of EmptyHeaded's design is a new class of join algorithms that satisfy strong theoretical guarantees but have thus far not achieved performance comparable to that of specialized graph processing engines. To achieve high performance, EmptyHeaded introduces a new join engine architecture, including a novel query optimizer and data layouts that leverage single-instruction multiple data (SIMD) parallelism. With this architecture, EmptyHeaded outperforms high-level approaches by up to three orders of magnitude on graph pattern queries, PageRank, and Single-Source Shortest Paths (SSSP) and is an order of magnitude faster than many low-level baselines. We validate that EmptyHeaded competes with the best-of-breed low-level engine (Galois), achieving comparable performance on PageRank and at most 3x worse performance on SSSP.

研究の動機と目的

• 高レベルのグラフクエリエンジン（例：SQL や Datalog）と低レベルのグラフ処理システムの間のパフォーマンスギャップを解消し、パフォーマンスを犠牲にすることなく高レベルの表現力を実現すること。
• 理論的に最適なジョインアルゴリズムを活用することで、従来のリレーショナルエンジンと専用のグラフエンジンの間の漸近的および定数要因のパフォーマンスギャップを埋めること。
• 最悪ケース最適なマルチウェイジョインをサポートしつつ、現代の SIMD 並列ハードウェアで高いパフォーマンスを達成する新しいエンジンアーキテクチャを設計すること。
• 一般化ハイパートリー分解 (GHD) を基盤とするリレーショナルエンジンが、標準的なグラフワークロードにおいて高レベルおよび低レベルのグラフ処理システムを上回ることを実証すること。

提案手法

• 複雑なグラフパターンのための最悪ケース最適なジョイン処理を可能にするために、従来のリレーショナル代数の代わりに一般化ハイパートリー分解 (GHD) を論理的クエリプランの表現として使用する。
• GHD を、集合の積集合とループを含む効率的なコードシーケンスにコンパイルし、高レベルの Datalog に似たクエリから自動的に最適化された実行プランを生成する。
• データの偏りとアクセスパターンに基づいて最適なアルゴリズム的およびレイアウト戦略を選択する革新的なクエリ最適化を実装する。
• 単一命令複数データ (SIMD) 並列処理に最適化された異種のデータレイアウトを設計し、ジョイン処理の中心的な集合積算算の高速化を図る。
• 正しさとパフォーマンスを保持しつつ、グラフワークロードで効果を発揮する SIMD 最適化された集合積算アルゴリズム（例：変更済み SIMDShuffling および SIMDGalloping）を統合する。
• 実行時におけるデータレイアウトやアルゴリズム選択といった低レベルの意思決定を自動化し、データの偏りに適応して多様なグラフクエリのパフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 最悪ケース最適なジョインアルゴリズムを活用することで、高レベルのリレーショナルエンジンが低レベルのグラフ処理エンジンと同等のパフォーマンスを達成できるか。
• RQ2 一般化ハイパートリー分解 (GHD) が、複雑なグラフパターンマッチングのための効率的で理論的に最適なクエリプランをどれほど実現できるか。
• RQ3 SIMD 最適化されたデータレイアウトと集合積算技術は、リレーショナルグラフエンジンにおけるマルチウェイジョインの高速化にどの程度効果的か。
• RQ4 リレーショナル原則に基づく統合型エンジンが、標準的なグラフワークロードにおいて高レベルおよび低レベルのグラフ処理システムを上回る性能を発揮できるか。
• RQ5 リレーショナルエンジンと専用のグラフエンジンの間のパフォーマンスギャップを埋めるために、どのようなアーキテクチャ的イノベーションが必要か。

主な発見

• EmptyHeaded は、グラフパターンクエリ、PageRank、および単一ソース最短経路 (SSSP) において、LogicBlox や SociaLite などの高レベルエンジンを3桁以上上回るパフォーマンスを発揮する。
• PageRank において、EmptyHeaded は最良の低レベルエンジン、Galois と同等のパフォーマンスを達成し、漸近的な効率性の競争力があることを示している。
• SSSP において、EmptyHeaded は Galois より最大3倍遅いが、理論的に非最適な場合でも実用的なパフォーマンスが高く、優れた性能を示している。
• グラフパターンクエリにおいて、Ligra や Green-Marl などの専用低レベルエンジンよりも最大60倍の高速化を達成しており、GHD を用いた最適化の有効性が顕著に表れている。
• SIMD 最適化されたデータレイアウトと集合積算技術は、標準的手法に比べて3桁のパフォーマンス向上をもたらし、アーキテクチャ的選択の妥当性を裏付けている。
• データの偏りに基づいてレイアウトとアルゴリズム選択を動的に適応できるクエリ最適化の能力により、多様なグラフワークロードで一貫したパフォーマンス向上が実現されている。