[論文レビュー] SPARQL query processing with Apache Spark

Hubert Naacke, Olivier Curé+1 more|arXiv (Cornell University)|Apr 29, 2016

Graph Theory and Algorithms参考文献 27被引用数 13

ひとこと要約

本論文は、Apache Sparkを基盤とする5つのSPARQLクエリ処理戦略を提案および評価し、データ転送を最小限に抑えるために、パーティショニング結合とブロードキャスト結合を組み合わせた画期的なハイブリッド手法（SPARQL Hybrid）を導入している。データサイズと選択性に基づいて結合戦略を知的に選択することで、スノーフレーク型やチェーン型など複雑なクエリ形状において、最新のシステムと比較して最大2.4倍の高速化を達成している。

ABSTRACT

The number of linked data sources and the size of the linked open data graph keep growing every day. As a consequence, semantic RDF services are more and more confronted to various "big data" problems. Query processing is one of them and needs to be efficiently addressed with executions over scalable, highly available and fault tolerant frameworks. Data management systems requiring these properties are rarely built from scratch but are rather designed on top of an existing cluster computing engine. In this work, we consider the processing of SPARQL queries with Apache Spark. We propose and compare five different query processing approaches based on different join execution models and Spark components. A detailed experimentation, on real-world and synthetic data sets, emphasizes that two approaches tailored for the RDF data model outperform the other ones on all major query shapes, i.e., star, snowflake, chain and hybrid.

研究の動機と目的

• 大規模なRDFデータを分散環境で処理する際のスケーラビリティとパフォーマンスの課題に対処すること。
• RDFデータのクエリ処理戦略として、結合実行モデルとデータパーティショニングを焦点に、複数のSparkベースの処理戦略を評価・比較すること。
• データ転送を最小限に抑え、Sparkのメモリ内処理能力を活用してパフォーマンスを向上させるハイブリッドクエリ実行戦略を設計すること。
• 実世界および合成データセットを用いて、S2RDF や最新の分散SPARQLエンジンといった既存システムと比較して、提案手法の有効性を検証すること。
• 事前処理のオーバーヘッドを低減しつつ、高いクエリ効率を維持することで、実運用に適したシステムを実現すること。

提案手法

• データ転送量と結合戦略選択に基づく、分散SPARQLクエリ処理の形式的コストモデルを提案する。
• 5つの異なるSparkベースのSPARQLクエリ処理戦略を実装する：SPARQL SQL、SPARQL RDD、SPARQL DF、SPARQL Hybrid RDD、SPARQL Hybrid DF。
• SparkのRDDおよびDataset APIを用いてRDFデータを表現し、クエリプランを実行する。データ圧縮（DF表現）を適用することで、I/Oおよび転送コストを削減する。
• 小規模な関係に対してはブロードキャスト結合、大規模な関係に対してはパーティショニング結合を動的に選択するハイブリッド結合戦略を適用し、データ移動量を最小限に抑える。
• 推定された結果サイズと選択性に基づいて、データパーティショニングと選択的ブロードキャストを実施し、結合実行を最適化する。
• Spark SQLと統合するが、Catalystオプティマイザが完全に活用していない低レベルの結合最適化オプションを公開することで、その機能を拡張する。

実験結果

リサーチクエスチョン

• RQ1 異なるSparkベースのSPARQLクエリ処理戦略は、実行時間とデータ転送オーバーヘッドの観点でどのように比較されるか？
• RQ2 ブロードキャスト結合とパーティショニング結合を組み合わせたハイブリッド結合戦略は、多様なSPARQLクエリパターンにおいて、既存のアプローチを上回る性能を発揮するか？
• RQ3 データ圧縮（DF表現）は、メモリ制限のあるSparkクラスタにおいて、どの程度パフォーマンスを向上させるか？
• RQ4 S2RDF（最新のSparkベースSPARQLエンジン）と比較して、提案されたハイブリッドアプローチは、クエリ速度とデータ転送量の削減の両面で優れているか？
• RQ5 提案手法は、S2RDFのVP断片化モデルと効果的に組み合わせられ、さらなるパフォーマンス向上をもたらすか？

主な発見

• SPARQL Hybridは、すべての主要なクエリ形状において、最良の既存システムを最大2.4倍のクエリ実行時間で上回っている。
• SPARQL Hybridは、スターパattersでは483MB、スノーフレーク型では284MB、複雑なクエリでは1.7GBのデータ転送量を、ベースライン手法と比較して削減している。
• ハイブリッド戦略により、データアクセス回数が5回（SPARQL DF）から2回に削減され、大幅な効率向上が達成された。
• SPARQL Hybrid DFは、圧縮されていないデータに対してSPARQL DFと比較して最大6.2倍の高速化を達成しており、主にデータ転送量の著しい削減に起因する。
• 本手法はS2RDFのVP断片化モデルと互換性があり、そのパフォーマンスを1.72倍から2.16倍まで向上させ、強い相乗効果を示している。
• ハードウェアリソースが少ない状況でも、S2RDF（例：クエリS1で3.6秒 vs. 8.8秒）よりも迅速な応答時間を達成しており、効率性の向上が明確に示されている。