[論文レビュー] Query Workload-based RDF Graph Fragmentation and Allocation

Peng Peng, Lei Zou+2 more|arXiv (Cornell University)|Aug 31, 2015

Graph Theory and Algorithms参考文献 32被引用数 8

ひとこと要約

本稿では、SPARQLクエリワークロードから頻出サブグラフパターンを抽出することで、垂直的および水平的フラグメンテーションを誘導する、ワークロード駆動型RDFグラフフラグメンテーションおよび割り当て手法を提案する。これにより、フラグメント間通信を最小限に抑え、分散RDFシステムにおけるクエリ性能を著しく向上させる。共通のクエリパターンに一致するようにフラグメントを配置することで、97%の実世界クエリがフラグメント間通信を回避し、性能が顕著に向上する。

ABSTRACT

As the volume of the RDF data becomes increasingly large, it is essential for us to design a distributed database system to manage it. For distributed RDF data design, it is quite common to partition the RDF data into some parts, called fragments, which are then distributed. Thus, the distribution design consists of two steps: fragmentation and allocation. In this paper, we propose a method to explore the intrinsic similarities among the structures of queries in a workload for fragmentation and allocation, which aims to reduce the number of crossing matches and the communication cost during SPARQL query processing. Specifically, we mine and select some frequent access patterns to reflect the characteristics of the workload. Here, although we prove that selecting the optimal set of frequent access patterns is NP-hard, we propose a heuristic algorithm which guarantees both the data integrity and the approximation ratio. Based on the selected frequent access patterns, we propose two fragmentation strategies, vertical and horizontal fragmentation strategies, to divide RDF graphs while meeting different kinds of query processing objectives. Vertical fragmentation is for better throughput and horizontal fragmentation is for better performance. After fragmentation, we discuss how to allocate these fragments to various sites. Finally, we discuss how to process a query based on the results of fragmentation and allocation. Extensive experiments confirm the superior performance of our proposed solutions.

研究の動機と目的

• クエリワークロードパターンを活用することで、分散RDFクエリ処理における通信コストを低減すること。
• SPARQLワークロードにおける頻出アクセスパターンに適合する垂直的および水平的フラグメンテーション戦略を設計すること。
• 頻出アクセスパターンの知的選択を通じて、性能向上とストレージオーバーヘッドのバランスを取ること。
• 効率的なクエリ実行を最適化するため、フラグメントの配置をサイト間で最適化する戦略を構築すること。
• フラグメンテーションおよび割り当て結果に基づき、サブグラフマッチの局所性を活用して効率的なクエリ処理を実現すること。

提案手法

• 最小サポート閾値を用いて、実際のSPARQLワークロード（例：DBpedia）から頻出サブグラフパターンを抽出する。
• スループットを最適化する垂直フラグメンテーションと、パフォーマンスを最適化する水平フラグメンテーションの2つの戦略を定義し、抽出された頻出アクセスパターンを基盤とする。
• 頻出アクセスパターン選択問題をNP困難な最適化問題として定式化し、データ整合性を保ちながら近似比を最大化するヒューリスティックアルゴリズムを提案する。
• アクセス頻度と通信コストの最小化に基づき、フラグメントを複数のサイトに分散配置するアルゴリズムを提案する。
• フラグメンテーションおよび割り当て構造を活用して、フラグメント間通信を最小限に抑えるSPARQLクエリ実行エンジンを設計する。
• グラフの粗縮小とパターンマッチングを用い、整合性を保つためにフラグメント境界を元のRDFグラフに再投影する。

実験結果

リサーチクエスチョン

• RQ1 SPARQLクエリワークロードにおける頻出サブグラフパターンを、RDFグラフフラグメンテーションを誘導するために効果的に抽出する方法は何か？
• RQ2 分散RDFシステムにおいて、パフォーマンスと通信コストのバランスを最適化するため、垂直フラグメンテーションと水平フラグメンテーションのどちらが適しているか？
• RQ3 データ複製を最小限に抑えながらクエリの局所性を最大化するため、頻出アクセスパターンをどのように選択すべきか？
• RQ4 クエリ評価中の通信を最小限に抑えるために、フラグメントをサイト間で最適に分散配置する戦略は何か？
• RQ5 ワークロード駆動型フラグメンテーションは、実世界のSPARQLワークロードにおいて、フラグメント間通信をどれほど効果的に排除できるか？

主な発見

• DBpediaワークロードにおける97%のSPARQLクエリが、163個の頻出サブグラフパターンのいずれかと同型であることが判明し、強いクエリ局所性が示された。
• これらの頻出パターンをフラグメンテーション単位として使用することで、97%のクエリで通信コストが完全に排除され、マッチングが1つのフラグメント内に収束した。
• 提案されたヒューリスティックパターン選択アルゴリズムは、高い近似比を達成するとともに、データ整合性を保持し、ストレージオーバーヘッドを最小限に抑えた。
• 広範な実験により、ワークロード駆動型フラグメンテーションが、従来のグラフ粗縮小手法と比較して通信コストを顕著に低減し、クエリ処理パフォーマンスを向上させることを確認した。
• 実世界ワークロード下で、垂直フラグメンテーション戦略はスループット、水平フラグメンテーション戦略は応答時間において、ベースライン手法を上回った。
• 割り当て戦略により、頻繁にアクセスされるフラグメントを同じまたは近接したサイトに配置することで、サイト間通信が著しく削減された。