[論文レビュー] TigerGraph: A Native MPP Graph Database

Alin Deutsch, Yu Xu+2 more|arXiv (Cornell University)|Jan 24, 2019

Graph Theory and Algorithms参考文献 19被引用数 14

ひとこと要約

TigerGraphは、高パフォーマンスなグラフ分析を目的とした、ネイティブに並列処理（MPP）を実装したグラフデータベースシステムを提示する。同システムは、ループと蓄積器を用いた宣言的で反復的なアルゴリズムをサポートする、SQLと互換性のある高水準なクエリ言語GSQLを導入しており、2倍〜10倍のデータ圧縮と高速なインデックスベースのアクセスを実現することで、複雑なグラフワークロードにおいてスケールアップおよびスケールアウトの両方のパフォーマンスを効率的に実現する。

ABSTRACT

We present TigerGraph, a graph database system built from the ground up to support massively parallel computation of queries and analytics. TigerGraph's high-level query language, GSQL, is designed for compatibility with SQL, while simultaneously allowing NoSQL programmers to continue thinking in Bulk-Synchronous Processing (BSP) terms and reap the benefits of high-level specification. GSQL is sufficiently high-level to allow declarative SQL-style programming, yet sufficiently expressive to concisely specify the sophisticated iterative algorithms required by modern graph analytics and traditionally coded in general-purpose programming languages like C++ and Java. We report very strong scale-up and scale-out performance over a benchmark we published on GitHub for full reproducibility.

研究の動機と目的

• 複雑なグラフ分析ワークロードに適した、大規模なスケールアップおよびスケールアウトパフォーマンスを実現するネイティブMPPグラフデータベースの設計。
• SQL開発者とNoSQL/MapReduceプログラマーの間のギャップを埋めるために、統一的で高水準なクエリ言語を提供すること。
• 低レベルの命令型プログラミングを必要とせずに、反復的グラフアルゴリズム（例：PageRank、最短経路）を表現的で宣言的な方法で記述可能にすること。
• 同型圧縮とハッシュインデキシングを用いた最適化により、ストレージとアクセスを効率化し、高速でスケーラブルな操作を実現すること。

提案手法

• ノード、エッジ、属性を最適な物理レイアウトでネイティブに格納する分散グラフストレージエンジンの設計。
• メモリ使用量とキャッシュミスを削減するための同型圧縮の実装。ユーザークエリに対しては透過的なデコードが行われる。
• ハッシュインデックスを用いてノードおよびエッジへのアクセスを高速化。グラフサイズが増大しても定数時間の検索が保証される。
• SQL互換性とグラフ固有のプリミティブ（例：レギュラー経路パターン）を備えた宣言的言語GSQLの導入。
• 2つの主要な構文要素（ループと蓄積器）を用いて反復的アルゴリズムをサポート。高水準な構文でBSPスタイルの計算を実現。
• GSQLクエリを分散ノードにネイティブにマッピングするMPP実行エンジンの提供。

実験結果

リサーチクエスチョン

• RQ1 ネイティブMPP原則に従うことで、スケーラブルな高パフォーマンスを実現するグラフデータベースシステムのアーキテクチャ設計はどのように行えるか？
• RQ2 GSQLのような高水準クエリ言語が、SQL互換性と反復的グラフアルゴリズムの表現力の両方を満たせるか？
• RQ3 同型圧縮と効率的なインデキシングを用いたネイティブグラフストレージにより、どの程度のパフォーマンス向上が達成できるか？
• RQ4 宣言的クエリ構文とBSPスタイルの計算を統合することで、開発生産性を損なわずスケーラブルな分析が可能になるか？
• RQ5 GSQLは、PageRankや連結成分など複雑なグラフアルゴリズムを、宣言的で高水準なコードとしてどの程度表現できるか？

主な発見

• TigerGraphは、公開されているベンチマークにおいて強力なスケールアップおよびスケールアウトパフォーマンスを達成し、複雑なグラフワークロードに対する高い効率性を示している。
• TigerGraphにおけるデータ圧縮は、一般的に2倍〜10倍の圧縮率を達成しており、メモリ使用量の削減とキャッシュ効率の向上に寄与している。
• ハッシュインデキシングにより、ノードおよびエッジへのアクセスが高速かつ定数時間で実現され、グラフサイズの増大に対してもパフォーマンスが維持される。
• GSQLは、ループと蓄積器を用いた宣言的構文により、反復的アルゴリズム（例：PageRank、最短経路）の完全な表現力を提供し、低レベルのコーディングを不要にしている。
• SQL開発者は新しいパラダイムを学ぶことなくグラフクエリを記述可能であり、NoSQL開発者もBSP/MapReduceの既存の思考モデルを維持できる。
• GitHubで公開されているベンチマーク結果は、再現可能であり、他の商用グラフ製品と比較して優れたパフォーマンスを確認している。