[論文レビュー] A partition-based Summary-Graph-Driven Method for Efficient RDF Query Processing

Lei Gai, Wei Chen+1 more|arXiv (Cornell University)|Oct 27, 2015

Graph Theory and Algorithms参考文献 18被引用数 3

ひとこと要約

本論文では、データを管理可能なチャンクに分割し、要約グラフを用いて効率的なサブグラフマッチングベースのクエリ実行を駆動する、新しいRDFクエリ処理フレームワークSGDQを提案する。クエリを独立したサブクエリに分解し、要約グラフマッチングを活用することで、SGDQは大規模な中間結果を回避し、複雑なベンチマークにおいて一貫して最先端のシステムを上回る性能を発揮する。

ABSTRACT

RDF query optimization is a challenging problem. Although considerable factors and their impacts on query efficiency have been investigated, this problem still needs further investigation. We identify that decomposing query into a series of light-weight operations is also effective in boosting query processing. Considering the linked nature of RDF data, the correlations among operations should be carefully handled. In this paper, we present SGDQ, a novel framework that features a partition-based Summary Graph Driven Query for efficient query processing. Basically, SGDQ partitions data and models partitions as a summary graph. A query is decomposed into subqueries that can be answered without inter-partition processing. The final results are derived by perform summary graph matching and join the results generated by all matched subqueries. In essence, SGDQ combines the merits of graph match processing and relational join-based query implementation. It intentionally avoids maintain huge intermediate results by organizing sub-query processing in a summary graph driven fashion. Our extensive evaluations show that SGDQ is an effective framework for efficient RDF query processing. Its query performance consistently outperforms the representative state-of-the-art systems.

研究の動機と目的

• 大規模でリンクされたデータ環境における非効率なRDFクエリ処理の課題に対処すること。
• 従来のリレーショナルジョインベースのアプローチが引き起こす大規模な中間結果に起因するメモリオーバーヘッドを低減すること。
• グラフ構造とサブグラフマッチングを活用してパーティション間処理においてクエリのパフォーマンスを向上させること。
• 効率的なパーティショニングされたサブクエリ処理をサポートする物理的データレイアウトとクエリ実行モデルを設計すること。
• 複雑な実世界のRDFワークロード上でフレームワークを評価し、既存のシステムよりも優れたパフォーマンスを実証すること。

提案手法

• クエリの独立したサブクエリ処理を可能にするために、RDFデータをより小さな管理可能なセグメントにパーティショニングすること。
• サブクエリ実行をガイドするためのパーティション間関係をモデル化する要約グラフの構築。
• パーティション間の調整を必要としないサブクエリに完全なクエリを分解すること。
• 要約グラフマッチングを用いて関連するパーティションを特定し、サブクエリ実行を駆動すること。
• サブクエリ処理の最適化を図るための補助的パターンフィルタリングおよび重複防止メカニズムの実装。
• 要約グラフに駆動される効率的なジョイン操作を通じてサブクエリ結果を統合し、最終出力を生成すること。

実験結果

リサーチクエスチョン

• RQ1 RDFデータをパーティショニングし、要約グラフを用いてサブクエリ実行をガイドすることで、中間結果のサイズを削減し、クエリパフォーマンスを向上させることができるか？
• RQ2 従来のリレーショナルジョインと比較して、サブグラフマッチングはパーティション間クエリ処理をどの程度効果的にモデル化できるか？
• RQ3 軽量なサブクエリへのクエリ分解は、大規模なRDFデータセットにおけるスケーラビリティをどの程度向上させるか？
• RQ4 SNIB や LUBM のような複雑で高密度に接続されたRDFワークロードにおいて、SGDQは既存のシステムと比較してどの程度の性能を発揮するか？
• RQ5 提案された物理的データレイアウトと操作は、サブクエリ処理と要約グラフマッチングを効率的にサポートできるか？

主な発見

• SGDQは、LUBM および SNIB ベンチマークの両方において、代表的な3つのRDFシステム（RDF-3X、Virtuoso 7、TripleBit）を一貫して上回った。
• LUBM-8000 および LUBM-20480 において、SGDQはそれぞれ 1,953,027 ms および 227,932 ms の応答時間を達成し、競合他社と比べて顕著に低かった。
• 高い選択性と構造的複雑性を有する複雑なクエリにおいても、SGDQは優れたパフォーマンスを維持したが、RDF-3X は大規模データセットでは結果を返せなかった。
• TripleBit は大多数のクエリで誤った結果を返したため、SGDQの結果の正しさと最適化の堅牢性が浮き彫りになった。
• SGDQにおけるOP sp（サブクエリ操作）の実行は効率的で、単純なパターンでは平均1 ms、三角形パターンでは10–20 ms であった。これは全体のパフォーマンス向上に寄与した。
• OP sp 操作の数はクエリの複雑さに比例して増加したが、SGDQは特にSNIBのような高密度に接続されたグラフにおいてもこれらの操作を効率的に管理できた。