[論文レビュー] O'Reach: Even Faster Reachability in Large Graphs

Kathrin Hanauer, Christian Schulz+1 more|arXiv (Cornell University)|Jan 1, 2021

Advanced Database Systems and Queries被引用数 1

ひとこと要約

O'Reach は、線形サイズのインデックスを用いることで、大規模な有向グラフにおいて定数時間のクエリを可能にする、新しい到達可能性アルゴリズムである。サポート頂点とキャッシュフレンドリーなデータ構造を活用することで、特にネガティブクエリにおいて、事前計算された到達可能性行列でさえも実用的に上回る性能を発揮する。これは、優れたメモリアクセスパターンと低コストのメモリオーバーヘッドのおかげである。

ABSTRACT

One of the most fundamental problems in computer science is the reachability problem: Given a directed graph and two vertices s and t, can s reach t via a path? We revisit existing techniques and combine them with new approaches to support a large portion of reachability queries in constant time using a linear-sized reachability index. Our new algorithm O'Reach can be easily combined with previously developed solutions for the problem or run standalone. In a detailed experimental study, we compare a variety of algorithms with respect to their index-building and query times as well as their memory footprint on a diverse set of instances. Our experiments indicate that the query performance often depends strongly not only on the type of graph, but also on the result, i.e., reachable or unreachable. Furthermore, we show that previous algorithms are significantly sped up when combined with our new approach in almost all scenarios. Surprisingly, due to cache effects, a higher investment in space doesn't necessarily pay off: Reachability queries can often be answered even faster than single memory accesses in a precomputed full reachability matrix.

研究の動機と目的

• 大規模で静的な有向グラフにおける従来の到達可能性アルゴリズムのスケーラビリティ制限を解決すること。
• 線形空間計算量を維持しつつ、クエリ時間を定数時間に短縮すること。
• 既存のインデックスベースのアプローチを、ポジティブおよびネガティブ両方の到達可能性クエリを最適化することで改善すること。
• キャッシュ効果の影響が支配的であるため、メモリの増加が常にクエリ性能の向上をもたらすわけではないことを示すこと。
• 完全な再実装を必要とせず、既存のアルゴリズムを効果的に向上できる、柔軟で合成可能なフレームワークを提供すること。

提案手法

• O'Reach は、到達可能性を効率的に決定するのを助けるサポート頂点を用いて、線形サイズの到達可能性インデックスを構築する。
• トポロジカル順序、強連結成分（SCC）分解、逆グラフ解析を組み合わせたハイブリッドアプローチを採用し、事前計算された到達可能性ショートカットを生成する。
• メモリアクセス遅延を最小限に抑えるキャッシュ最適化データ構造を用いることで、特にネガティブクエリの恩恵が大きい。
• PReaCH や PPL、TF といった既存のアルゴリズムと統合可能であり、軽量な拡張によって性能を向上できる。
• 空間、事前処理時間、クエリ速度のトレードオフを実現するための3つの設定可能なパラメータを提供する。
• 到達不能クエリは、完全な到達可能性行列における1回のメモリアクセスよりも速やかに解決可能であるという事実を活用している。これは、キャッシュ動作が有利であるためである。

実験結果

リサーチクエスチョン

• RQ1 大規模なグラフにおいて、線形サイズのオーバーヘッドで定数時間の到達可能性クエリを実現できるか？
• RQ2 ポジティブクエリとネガティブクエリの間で、到達可能性アルゴリズムの性能はどのように異なるか？
• RQ3 O'Reach の技術を統合することで、既存のアルゴリズムはどの程度高速化できるか？
• RQ4 メモリ使用量の増加は常にクエリ性能の向上をもたらすのか、それともキャッシュ効果が支配的になるのか？
• RQ5 軽量で合成可能なインデックスは、多様なグラフタイプにわたりマイクロ秒未塔のクエリ時間を達成できるか？

主な発見

• PPL と組み合わせた場合、O’Reach は平均して 0.35 マイクロ秒未塔のクエリ時間を達成し、すべてのテストインスタンスで最も高速なソリューションである。
• 1.5 GB のメモリしか使用しない状況でも、O’Reach はキャッシュ局所性の優位性により、実用的には完全な到達可能性行列を上回る。特にネガティブクエリにおいて顕著である。
• O’Reach を PReaCH と組み合わせると、平均クエリ時間は最大 11.1 マイクロ秒に抑えられ、初期化コストと性能の間で優れたトレードオフを実現する。
• O’Reach のインデックスサイズはエッジ密度に依存せず、頂点数にのみ依存するため、スパースグラフにおいて非常に空間効率的である。
• 驚くべきことに、ネガティブクエリは、完全な行列における1回のメモリアクセスよりも速やかに処理可能である。これは、効果的なキャッシュ利用のおかげである。
• アルゴリズムの性能はグラフの種類だけでなく、到達可能なクエリと到達不能なクエリの比率にも依存し、O’Reach は両方のシナリオで優れた性能を発揮する。