[論文レビュー] DwarvesGraph: A High-Performance Graph Mining System with Pattern Decomposition

Jingji Chen, Xuehai Qian|arXiv (Cornell University)|Aug 21, 2020

Graph Theory and Algorithms参考文献 51被引用数 9

ひとこと要約

DwarvesGraph は、パターン分解と新しいコンパイルパイプライン、部分埋め込みAPIを統合した高性能なグラフマイニングシステムであり、大規模グラフ上で1時間未満の実行時間を達成し、GPMワークロードの実行を数日から数時間に短縮する。最小限のユーザー作業で、正確なコストモデルによる最適な分解選択を自動化し、完全な埋め込みの物性化を伴わせずに効率的なUDF実行を可能にする。

ABSTRACT

Graph pattern mining (GPM) is an important application that identifies structures from graphs. Despite the recent progress, the performance gap between the state-of-the-art GPM systems and an efficient algorithm--pattern decomposition--is still at least an order of magnitude. This paper clears the fundamental obstacles of adopting pattern decomposition to a GPM system. First, the performance of pattern decomposition algorithms depends on how to decompose the whole pattern into subpatterns. The original method performs complexity analysis of algorithms for different choices, and selects the one with the lowest complexity upper bound. Clearly, this approach is not feasible for average or even expert users. To solve this problem, we develop a GPM compiler with conventional and GPM-specific optimizations to generate algorithms for different decomposition choices, which are evaluated based on an accurate cost model. The executable of the GPM task is obtained from the algorithm with the best performance. Second, we propose a novel partial-embedding API that is sufficient to construct advanced GPM applications while preserving pattern decomposition algorithm advantages. Compared to state-of-the-art systems, our new GPM system, DwarvesGraph, developed based on the ideas, reduces the execution time of GPM on large graphs and patterns from days to a few hours with low programming effort.

研究の動機と目的

• 最先端のGPMシステムと、実装上の障壁により活用が制限されている高効率なパターン分解アルゴリズムとの間のパフォーマンス格差を解消すること。
• 従来のUDFベースのAPIがパターン分解と互換性がなく、完全な埋め込みの物性化を要し、パフォーマンス向上の恩恵を損なう問題を解決すること。
• パターン分解のための最適な頂点カット集合の選択を自動化し、手動による複雑さの解析を回避し、スケーラブルなパフォーマンスを実現すること。
• 分解選択における最適なアルゴリズムバリアントを選択するために、実用的かつ正確なパフォーマンス予測が可能なコストモデルを設計すること。
• 高度なGPMアプリケーションの低プログラミング作業量でのデプロイを可能にしつつ、パターン分解の効率性を保持すること。

提案手法

• 複数の分解選択肢に対して最適化されたアルゴリズムを生成するGPM特化コンパイラを採用し、従来の最適化に加え、グラフパターンマイニング固有の最適化を適用する。
• 完全な物性化を回避し、分解の効率性を保つために、埋め込みの必要な部分のみにアクセスできる部分埋め込みAPIを導入する。
• 頂点カット集合で定義される候補となる分解戦略（＝コストモデル）を正確に評価し、最も高速なアルゴリズム実装を選択する。
• スレッドを複数用いた実行をサポートし、大規模グラフの処理においてほぼ線形のスケーラビリティを達成する。
• コンパイル段階のオーバーヘッドは、複雑なパターンですら実行時間の数個のオーダー小さく、実用的である。
• 部分的に物性化された埋め込み上で制約を解決することで、ラベル制約と複雑なクエリ意味論を統合する。

実験結果

リサーチクエスチョン

• RQ1 一般用途のGPMシステムにパターン分解を効果的に統合できるか、使いやすさや表現力に妥協を来さずに実現できるか？
• RQ2 多様なグラフパターンと構造にわたって、パターン分解のパフォーマンスを自動化する方法は何か？
• RQ3 実用的かつ正確に、最適な分解戦略の選択を導くために十分な精度と効率を持つコストモデルは何か？
• RQ4 完全な埋め込みの物性化を回避しつつ、部分埋め込みAPIが正しさと表現力を保つ程度はどの程度か？
• RQ5 従来のGPMシステムと比較して、グラフサイズとパターンの複雑さが増加する際、本システムのスケーリング特性はいかなるものか？

主な発見

• WikiVoteグラフでサイズ5のすべてのパターンをマイニングする際、DwarvesGraphはPeregrineが1週間以上を要するのを下回る5時間未塔に短縮した。
• Patentsグラフの5-Motifパターンでは、16スレッドで15.11倍の高速化を達成し、ほぼ線形のスケーラビリティを示した。
• MiCoグラフでサポート閾値10Kの頻出部分グラフマイニングにおいて、DwarvesGraphはAutomineInHouseに比べてピークで70倍の高速化を達成した。
• 複雑なラベル制約を伴う場合、DwarvesGraphは大規模グラフにおいてPeregrineを最大12倍速く、実行時間を12時間以上から5分未塔に短縮した。
• コンパイルのオーバーヘッドは無視できるほど小さく、112個のサイズ6パターンですら300ms未塔であり、インタラクティブワークロードに実用的である。
• 不正確なコストモデルは、非分解システムよりも悪いパフォーマンスをもたらす可能性があることから、分解選択における正確なコスト推定の重要性が確認された。