[論文レビュー] High-Performance Reachability Query Processing under Index Size Restrictions

Stephan Seufert, Avishek Anand+2 more|arXiv (Cornell University)|Nov 14, 2012

Data Management and Algorithms参考文献 9被引用数 3

ひとこと要約

本論文は、厳密なインデックスサイズ制約下で大規模な有向グラフにおける高効率な到達可能性クエリ処理を実現する、空間に適応するインデックス構造FERRARIを提案する。選択的区間統合とガイド付きオンライン探索を用いた適応的圧縮により、FERRARIは実世界のウェブ規模グラフにおいて、サブマイクロ秒レベルのクエリ時間と達成し、特にポジティブな到達可能性クエリにおいてGRAILなどの先行手法を上回る性能を発揮する。

ABSTRACT

In this paper, we propose a scalable and highly efficient index structure for the reachability problem over graphs. We build on the well-known node interval labeling scheme where the set of vertices reachable from a particular node is compactly encoded as a collection of node identifier ranges. We impose an explicit bound on the size of the index and flexibly assign approximate reachability ranges to nodes of the graph such that the number of index probes to answer a query is minimized. The resulting tunable index structure generates a better range labeling if the space budget is increased, thus providing a direct control over the trade off between index size and the query processing performance. By using a fast recursive querying method in conjunction with our index structure, we show that in practice, reachability queries can be answered in the order of microseconds on an off-the-shelf computer - even for the case of massive-scale real world graphs. Our claims are supported by an extensive set of experimental results using a multitude of benchmark and real-world web-scale graph datasets.

研究の動機と目的

• インデックスサイズが制限され、主記憶領域も限られた大規模スケールのグラフにおける効率的な到達可能性クエリ処理の課題に対処すること。
• 特にポジティブな到達可能性クエリにおいて、高コストな再帰的探索を伴う、従来のサイズ制約付きインデックスの性能ボトルネックを克服すること。
• ユーザーが定義する空間予算に基づいて、近似到達可能性区間を柔軟に割り当てることで、インデックスサイズとクエリパフォーマンスの調整可能なトレードオフを提供すること。
• 実世界のデータセットにおいて高い正確性とスケーラビリティを維持しながら、期待されるクエリ処理時間を最小限に抑えるインデックス構造を設計すること。

提案手法

• ノード区間ラベル付け方式を採用し、到達可能な頂点を識別子の範囲として符号化することで、到達可能性集合を効果的に表現する。
• インデックス構築時に、空間予算を超えた場合に隣接する区間を適応的に統合し、圧縮とクエリ効率のバランスを取る。
• 区間割り当てを区間被覆問題としてモデル化し、サイズ制約下でクエリコストを最小化するように効率的に解く。
• クエリ処理を高速化するため、インデックスと併用して再帰的探索機構を用い、ガイド付き探索を実現し、ポジティブおよびネガティブな到達可能性クエリの両方を加速する。
• 正確なおよび近似された到達可能性範囲の両方をサポートし、空間予算を増やすことでパフォーマンスをスケーリング可能である。
• 構築フェーズでは、1クエリあたりのインデックスプローブ回数の期待値を低減する戦略を優先するヒューリスティクスを用いる。

実験結果

リサーチクエスチョン

• RQ1 空間制約付きの到達可能性インデックスを構築し、期待されるクエリ処理時間を最小限に抑えつつ高い正確性を維持できるか？
• RQ2 適応的区間圧縮は、従来の手法と比較して、ポジティブな到達可能性クエリのパフォーマンスにどのように影響を与えるか？
• RQ3 多様な実世界のグラフワークロードにおいて、インデックス構造はクエリ速度とストレージ効率の面でどの程度スケーリング可能か？
• RQ4 ガイド付きオンライン探索手順は、到達可能性評価に必要なインデックスプローブ回数を顕著に削減するか？

主な発見

• YAGO2データセットでは、FERRARI-Lが10万件のランダムクエリに対して中央値クエリ時間を10.45msに抑え、GRAIL（30.53ms）を上回り、クエリ時間を65.7%削減した。
• Twitterデータセットのポジティブクエリでは、FERRARI-Lが9.80msにまで中央値クエリ時間を短縮し、GRAILの18.21msを下回り、46.1%の改善を達成した。
• GovWildデータセットでは、FERRARI-Lがポジティブクエリにおいて中央値クエリ時間を13.33msに抑え、GRAILの29.84msを大きく下回り、55.3%の削減を達成した。
• FERRARIはコンパクトなインデックスサイズを維持しており、YAGO2のインデックスサイズは5,844.87KBにとどまり、GRAILの59,587KBをはるかに下回りながら、優れたパフォーマンスを発揮した。
• FERRARIの構築時間は、すべてのデータセットでGRAILを下回り、YAGO2ではFERRARI-Lが137.88ms、GRAILが182.96msと、より短い時間を記録した。
• Web-UKデータセットでは、FERRARI-Lが10万件のポジティブクエリに対して中央値クエリ時間を16.85msに抑え、GRAILの26,792.72msを1,500倍以上上回る性能を発揮した。