[論文レビュー] DAGGER: A Scalable Index for Reachability Queries in Large Dynamic Graphs

Hilmi Yıldırım, Vineet Chaoji+1 more|arXiv (Cornell University)|Jan 6, 2013

Data Management and Algorithms参考文献 21被引用数 22

ひとこと要約

DAGGER は、区間ラベリングと強連結成分（SCC）の凝縮を用いて、効率的な更新とクエリを可能にする、大規模な動的グラフ向けの軽量でスケーラブルな到達可能性インデックスである。エッジの削除後に局所的な SCC の再計算を実行することで、線形のインデックスサイズと高速な更新/クエリ時間を達成し、数百万ノードの実世界および合成グラフにおいてベースラインを上回る性能を発揮する。

ABSTRACT

With the ubiquity of large-scale graph data in a variety of application domains, querying them effectively is a challenge. In particular, reachability queries are becoming increasingly important, especially for containment, subsumption, and connectivity checks. Whereas many methods have been proposed for static graph reachability, many real-world graphs are constantly evolving, which calls for dynamic indexing. In this paper, we present a fully dynamic reachability index over dynamic graphs. Our method, called DAGGER, is a light-weight index based on interval labeling, that scales to million node graphs and beyond. Our extensive experimental evaluation on real-world and synthetic graphs confirms its effectiveness over baseline methods.

研究の動機と目的

• ソーシャルネットワークや RDF グラフを含む、大規模で動的に変化するグラフにおける到達可能性クエリを効率的にサポートする課題に対処すること。
• 完全な再計算なしに、エッジの挿入および削除を効率的に処理できる動的到達可能性インデックスを設計すること。
• 数百万ノードのスケーリングを実現しつつ、低インデックスサイズと高速なクエリ/更新時間の両立を図ること。
• 動的グラフの変更に適応できない静的インデックス方式の限界を克服すること。
• 低レイテンシのクエリと最小限のダウンタイムを伴う更新を必要とするオンラインシステムへの実用的導入を可能にすること。

提案手法

• DAGGER は、強連結成分（SCC）を単一ノードに凝縮して得られる、凝縮された有向無閉路グラフ（DAG）上で区間ラベリングを用いて到達可能性インデックスを構築する。
• 各グラフ変更の後、SCC を段階的に更新することで到達可能性を維持し、完全な再計算を回避する。
• エッジ削除の場合、ソースノードから開始するターゲットノードへの到達可能性を保証するノードを除外するためのターゲットを起点とするトレイバーサルアルゴリズムを用いる。
• アルゴリズムは、新しい成分を形成する可能性があるノードのみを再帰的に探索し、葉から上流へと潜在的な新しい成分をキューを用いて伝搬する。
• Tarjan のアルゴリズムを変更して適用：現在の SCC 内のノードに制限したトレイバル、ターゲットに到達した場合の早期終了、ターゲットに到達可能なノードの祖先の処理を回避する。
• 新しい SCC は必要に応じてのみ作成され、DAG は到達可能性関係の変化を段階的に反映する形で更新される。

実験結果

リサーチクエスチョン

• RQ1 数百万ノードのスケーリングを実現し、効率的な更新をサポートできる動的到達可能性インデックスを設計できるか？
• RQ2 エッジ削除後の SCC の再計算を最適化することで、大規模な成分全体を走査する必要を回避できるか？
• RQ3 段階的維持による到達可能性の更新が、完全再計算やベースライン手法に比べてどれほど優れているか？
• RQ4 静的インデックスや単純な DFS と比較して、動的グラフにおける到達可能性の維持にどのようなオーバーヘッドが生じるか？
• RQ5 成分分割検出時のプリーニング戦略が、トレイバルコストの削減にどれほど効果的か？

主な発見

• DAGGER は線形のインデックスサイズと構築時間を達成し、100万ノードを超えるグラフに対しても効果的にスケーリングする。
• 段階的更新メカニズムにより、特に成分の小さな部分に影響がある場合に、大規模 SCC の完全走査を回避することでエッジ削除のコストを削減する。
• クエリ性能は効率的で、インデックスサイズに比例した時間で到達可能性が判定され、高速なパス存在チェックに区間ラベリングを活用する。
• 実世界および合成グラフにおいて、単純な DFS や静的インデックス方式といったベースライン手法に比べ、更新およびクエリの効率性が顕著に優れている。
• 成分抽出におけるプリーニング戦略により、依然としてターゲットに到達可能なノードをスキップすることで、エッジ削除後の新しい成分の検出が高速化される。
• 実験的評価により、DAGGER がソーシャルネットワークや RDF データのような大規模グラフにおいて有効であることが確認され、頻繁な更新下でも低レイテンシを維持している。