[論文レビュー] Portal: A Query Language for Evolving Graphs

Vera Zaychik Moffitt, Julia Stoyanovich|arXiv (Cornell University)|Feb 2, 2016

Graph Theory and Algorithms参考文献 27被引用数 3

ひとこと要約

Portal は、スケーラブルな進化グラフの分析を可能にする宣言的クエリ言語であり、Apache Spark 上に実装されており、選択、結合、集計、高度な分析などの時系列操作をサポートする。構造的および時系列的局所性を最適化する物理的表現とパーティショニング戦略により、効率的なパフォーマンスを達成する。

ABSTRACT

Graphs are used to represent a plethora of phenomena, from the Web and social networks, to biological pathways, to semantic knowledge bases. Arguably the most interesting and important questions one can ask about graphs have to do with their evolution. Which Web pages are showing an increasing popularity trend? How does influence propagate in social networks? How does knowledge evolve? Much research and engineering effort today goes into developing sophisticated graph analytics and their efficient implementations, both stand-alone and in scope of data processing platforms. Yet, systematic support for scalable querying and analytics over evolving graphs still lacks. In this paper we present Portal, a declarative language that supports efficient querying and exploratory analysis of evolving graphs, and an implementation of Portal in scope of Apache Spark, an open-source distributed data processing framework. Our language supports a variety of operations including temporal selection, join and aggregation, and a rich class of analytics. We develop multiple physical representations and partitioning strategies and study the trade-offs between structural and temporal locality. We provide an extensive experimental evaluation of our system, demonstrating that careful engineering can lead to good performance.

研究の動機と目的

• 現代のデータ処理プラットフォームにおいて、進化するグラフのクエリおよび分析に対する体系的でスケーラブルなサポートの欠如に対処する。
• 人気トレンド、影響力の拡散、知識の進化などの動的グラフ現象の効率的な探索的分析を可能にする。
• 時系列操作および進化するグラフ上の複雑な分析をサポートする宣言的言語の設計。
• Apache Spark 内に Portal を実装することで、大規模分散データ処理パイプラインとの互換性を確保する。
• 構造的および時系列的局所性を活用する、物理的表現とパーティショニング戦略の最適化によりパフォーマンスを向上させる。

提案手法

• 時系列選択、時系列結合、集計、および進化するグラフ上の包括的なグラフ分析をサポートする宣言的クエリ言語 Portal の設計。
• 分散実行エンジンと大規模データ処理能力を活用するため、Apache Spark 内に Portal をライブラリとして実装。
• ストレージ効率とクエリパフォーマンスの両立を図る、進化するグラフの複数の物理的表現の開発。
• グラフトポロジ（構造的局所性）と時間的変化データ（時系列的局所性）の両方を最適化するパーティショニング戦略の導入。
• 異なる物理的モデルとパーティショニング方式の間のトレードオフを評価し、さまざまなワークロードに適したシステム構成を導く。
• Spark の実行モデルを活用して、時系列および構造的操作のための述語プッシュダウンと実行計画の最適化を実施。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、進化するグラフ上で効率的にクエリを表現・処理できる宣言的クエリ言語を設計できるか？
• RQ2 分散グラフ処理において、構造的局所性と時系列的局所性の両方を最適にバランスさせる物理的表現とパーティショニング戦略は何か？
• RQ3 Portal は、進化するグラフ上の複雑な時系列クエリおよび分析クエリに対して、どの程度スケーラブルなパフォーマンスを達成できるか？
• RQ4 物理的モデリングとパーティショニングの設計選択が、クエリ実行時間とリソース利用にどのように影響するか？

主な発見

• Portal は、Apache Spark に統合された宣言的言語により、進化するグラフの効率的でスケーラブルなクエリを可能にする。
• 物理的表現とパーティショニング戦略の選択がパフォーマンスに顕著な影響を与え、構造的局所性と時系列的局所性の間のトレードオフが顕在化する。
• 最適化されたパーティショニング戦略により、データシャッフルの削減とキャッシュ局所性の向上が実現され、クエリ実行時間が短縮される。
• 時系列選択、結合、および進化するグラフ上の複雑な分析を含む、多様なワークロードにおいて、良好なパフォーマンスを示す。
• 物理レイヤーの洗練された設計が、測定可能なパフォーマンス向上をもたらし、分散グラフシステムにおける低レベル最適化の重要性を裏付ける。