[論文レビュー] Left Bit Right: For SPARQL Join Queries with OPTIONAL Patterns (Left-outer-joins)

Medha Atre|arXiv (Cornell University)|Apr 29, 2013

Semantic Web and Ontologies参考文献 32被引用数 24

ひとこと要約

この論文では、左外結合（left-outer-joins）を対象とした新しい最適化手法であるLeft Bit Right（LBR）を紹介する。LBRは、クエリ構造をスーパーノードの有向グラフとしてモデル化し、圧縮されたビットベクトルを用いて積極的なプリーニングを可能にする。LBRは、選択性が低い複雑なクエリにおいて、Virtuoso や MonetDB より最大11倍の高速処理を達成する一方で、選択性が高いクエリではそれらと同等の性能を発揮し、実行時におけるヌル値の処理オーバーヘッドなしに、非巡回性、最小性、ヌル値認識戦略を組み合わせることで、最適化を実現する。

ABSTRACT

SPARQL basic graph pattern (BGP) (a.k.a. SQL inner-join) query optimization is a well researched area. However, optimization of OPTIONAL pattern queries (a.k.a. SQL left-outer-joins) poses additional challenges, due to the restrictions on the extit{reordering} of left-outer-joins. The occurrence of such queries tends to be as high as 50% of the total queries (e.g., DBPedia query logs). In this paper, we present extit{Left Bit Right} (LBR), a technique for extit{well-designed} nested BGP and OPTIONAL pattern queries. Through LBR, we propose a novel method to represent such queries using a graph of extit{supernodes}, which is used to aggressively prune the RDF triples, with the help of compressed indexes. We also propose novel optimization strategies -- first of a kind, to the best of our knowledge -- that combine together the characteristics of extit{acyclicity} of queries, extit{minimality}, and extit{nullification}, extit{best-match} operators. In this paper, we focus on OPTIONAL patterns without UNIONs or FILTERs, but we also show how UNIONs and FILTERs can be handled with our technique using a extit{query rewrite}. Our evaluation on RDF graphs of up to and over one billion triples, on a commodity laptop with 8 GB memory, shows that LBR can process extit{well-designed} low-selectivity complex queries up to 11 times faster compared to the state-of-the-art RDF column-stores as Virtuoso and MonetDB, and for highly selective queries, LBR is at par with them.

研究の動機と目的

• 実世界のSPARQLワークロードの最大50％を占めるSPARQL OPTIONALパターンクエリの性能ボトルネックを解消すること。特に大規模なRDFグラフ上で顕著である。
• 内結合とは異なり結合の順序入れ替えが制限される左外結合における最適化の限界を克服すること。
• 非巡回性、最小性、ヌル値認識といった構造的性質を活用して、実行時のオーバーヘッドを低減するクエリ処理フレームワークを設計すること。
• 圧縮ビットベクトルと新規のスーパーノードベースのクエリグラフ表現を用いて、RDFトリプルの効率的プリーニングを可能にすること。
• 半結合やベストマッチ演算子といった既存の最適化技術をOPTIONALパターンに拡張し、実行後のヌル値処理や結果の包含チェックを必要としないようにすること。

提案手法

• ネストされたOPTIONALクエリにおける階層的・依存関係をモデル化するため、有向で順序付きのスーパーノードグラフ（GoSN）を提案する。
• 各BGPおよびOPTIONALパターンをスーパーノードとして表現し、マスタースレーブ関係やピア関係を示す有向エッジを用いて左外結合の意味論を保持する。
• BitMatにインspiredされた圧縮ビットベクトルを用いてRDFトリプルをインデックス化し、クエリ評価中に高速な集合演算と早期プリーニングを実現する。
• GoSNにおける非巡回性と最小性を活用する新規な最適化戦略を導入し、重複または無効なタプルの生成を回避する。
• プラン生成段階でヌル値処理とベストマッチ演算子を統合することで、実行時のヌル値処理チェックや包含チェックの必要性を排除する。
• クエリリライト機構を用いてUNIONとFILTERを処理前段階で等価なOPTIONALパターン形式に変換し、最適化利点を維持する。

実験結果

リサーチクエスチョン

• RQ1 左外結合が非結合的かつ非可換であることを踏まえ、SPARQL OPTIONALパターンクエリを効率的に最適化する方法は何か？
• RQ2 OPTIONALクエリにおける非巡回性や最小性といった構造的性質を活用することで、実行時のヌル値処理やベストマッチ演算の必要性を排除できるか？
• RQ3 圧縮ビットベクトルインデックスとスーパーノードベースのクエリグラフは、複雑なOPTIONALクエリのプリーニングと実行時間短縮にどの程度寄与するか？
• RQ4 大規模なRDFデータ上で、提案手法LBRの性能はVirtuoso や MonetDB といった最先端のRDFカラムストアと比べてどの程度か？
• RQ5 LBRフレームワークは、UNION や FILTER といった複雑なSPARQL機能を、最適化効率を損なわずに拡張可能か？

主な発見

• LBRは、複数のネストされたパターンを持つ選択性が低い複雑なOPTIONALクエリにおいて、Virtuoso や MonetDB より最大11倍の高速実行を達成する。
• 選択性が高いクエリでは、LBRはVirtuoso や MonetDB と同等の性能を発揮し、強固なベースライン効率を示す。
• 有向スーパーノードグラフ（GoSN）の使用により、左外結合の依存関係を正確にモデル化でき、最適化過程でもクエリ意味論を保持する。
• プラン生成段階でヌル値処理とベストマッチ戦略を統合することで、高コストな実行時チェックを回避し、オーバーヘッドを低減する。
• 圧縮ビットベクトルインデックス構造は、元のBitMat手法と比較して最大40％のインデックスサイズ削減を実現し、メモリ効率を向上させる。
• クエリリライト機構により、UNION と FILTER の構文が等価なOPTIONALパターン形式に変換され、最適化利点が維持された。