[論文レビュー] Systems for Near Real-Time Analysis of Large-Scale Dynamic Graphs

Luis M. Vaquero, Félix Cuadrado+1 more|arXiv (Cornell University)|Oct 7, 2014

Graph Theory and Algorithms参考文献 61被引用数 10

ひとこと要約

この論文は、トポロジーとデータが継続的に変化する動的グラフを処理する大規模でニアリアルタイムなグラフ処理システムを調査している。ストリーミング、レプリケーション、動的ロードバランシングといったキーテクニックを特定し、システムが「大規模データ処理」「リアルタイム性能」「変化への適応性」の3つを同時に達成できないというBAR予想を提唱している。

ABSTRACT

Graphs are widespread data structures used to model a wide variety of problems. The sheer amount of data to be processed has prompted the creation of a myriad of systems that help us cope with massive scale graphs. The pressure to deliver fast responses to queries on the graph is higher than ever before, as it is demanded by many applications (e.g. online recommendations, auctions, terrorism protection, etc.). In addition, graphs change continuously (so do the real world entities that typically represent). Systems must be ready for both: near real-time and dynamic massive graphs. We survey systems taking their scalability, real-time potential and capability to support dynamic changes to the graph as driving guidelines. The main techniques and limitations are distilled and categorised. The algorithms run on top of graph systems are not ready for prime time dynamism either. Therefore,a short overview on dynamic graph algorithms has also been included.

研究の動機と目的

• 大規模でニアリアルタイムなグラフ処理システムが動的グラフを処理する分野における最先端技術を分析すること。
• 継続的なグラフ更新（トポロジーおよびデータの変更）の下で低レイテンシを維持するためのコアな課題を特定すること。
• スケーラビリティ、リアルタイム性能、動的変化への適応性の間のシステム設計上のトレードオフを評価すること。
• 実行時における動的要因への対応を支援するためのインクリメンタル計算または近似計算の必要性を強調し、既存のグラフアルゴリズムの限界を指摘すること。
• BAR予想を提唱し、グラフシステムにおいて「大規模データ処理」「リアルタイム応答」「変化への適応性」の3つを同時に達成することは不可能であるという根本的なトレードオフを示唆すること。

提案手法

• 導入形態（集中型対分散型）、ストレージ（ディスク対メモリ内）、データアクセスパターンに基づいてグラフ処理システムを分類すること。
• ハッシュベースのパーティショニングなどのパーティショニング戦略と、ロードバランシングおよび通信オーバーヘッドに与える影響を分析すること。
• 長期間にわたるクエリに適した動的リパーティショニングや、短期間で大量のクエリが発生する状況に適したレプリケーションを含む、動的適応技術をサーベイすること。
• ストリーミングベースのアプローチによるリアルタイム処理の評価。ここでグラフの更新は段階的にインジェストされる。
• レイテンシ低減のためのシステムレベル最適化（メモリ内処理、ロードバランシング、キャッシュなど）を評価すること。
• 利用性の向上と同時に複数のテナントが並列でワークロードを実行できる環境を支援するためのドメイン固有言語やクエリインターフェース（例：SQL風、関数型）の役割を検討すること。

実験結果

リサーチクエスチョン

• RQ1 大規模な動的グラフのニアリアルタイム分析をサポートするシステムを構築するにあたり、主なアーキテクチャ的およびアルゴリズム的課題は何か？
• RQ2 メモリ内処理対ディスクベース、集中型対分散型といった異なるシステム設計は、リアルタイム性能と適応性にどのように影響を与えるか？
• RQ3 頂点／辺の追加や属性の更新といった動的グラフ変更を処理するにあたり、性能劣化を防ぐために最も効果的な技術は何か？
• RQ4 既存のグラフアルゴリズムは、動的状態下でインクリメンタルまたは近似計算に適応できる程度まで拡張可能か？
• RQ5 グラフ処理システムにおいて、スケーラビリティ、リアルタイム応答、適応性の間には、どのような根本的なトレードオフが存在するか？

主な発見

• 大規模な動的グラフに対してニアリアルタイム応答を提供できるシステムは少数であり、主にディスクI/Oによる高レイテンシと、ロードバランシングの悪さが原因である。
• メモリ内分散型システム（例：GraphX、G-COREなど）はディスクアクセスを回避することで低レイテンシを達成しているが、動的ワークロードでは依然として課題を抱えている。
• 動的リパーティショニングは、大規模なグラフ領域に対する長期間クエリに有効であるが、通信および調整コストが高くなる。
• レプリケーションは、小規模なグラフサブグラフに対する短期間で大量のクエリが発生する状況に適しており、低レイテンシアクセスを実現するが、ストレージ容量と整合性管理の負担が増加する。
• BAR予想は、システムが大規模データ処理、リアルタイム性能、動的変更への完全な適応性を同時に達成することは不可能であると示している。
• 既存のグラフアルゴリズムは動的要因に対応して生産環境で利用可能とは言えない。理論的性能と実世界の要件のギャップを埋めるために、インクリメンタルおよび近似計算アルゴリズムの開発が不可欠である。