[論文レビュー] Average Distance Queries through Weighted Samples in Graphs and Metric Spaces: High Scalability with Tight Statistical Guarantees

Shiri Chechik, Edith Cohen+1 more|arXiv (Cornell University)|Mar 30, 2015

Complexity and Algorithms in Graphs参考文献 18被引用数 15

ひとこと要約

本稿では、平均距離およびメトリック空間における閉じ込み中心性の高スケーラビリティな推定を可能にする重み付きサンプリングフレームワークを提示する。O(ǫ⁻²)のサンプルを用いた普遍的なPPS（サイズ確率に比例する）サンプリング方式により、不偏推定が得られ、正規化平均二乗誤差 ≤ ǫ のきわめてきつい統計的保証が達成される。単一のソースからの最短経路計算をO(ǫ⁻²)回実行するだけでよく、大規模なネットワークやメトリック空間の分析が効率的に行える。

ABSTRACT

The average distance from a node to all other nodes in a graph, or from a query point in a metric space to a set of points, is a fundamental quantity in data analysis. The inverse of the average distance, known as the (classic) closeness centrality of a node, is a popular importance measure in the study of social networks. We develop novel structural insights on the sparsifiability of the distance relation via weighted sampling. Based on that, we present highly practical algorithms with strong statistical guarantees for fundamental problems. We show that the average distance (and hence the centrality) for all nodes in a graph can be estimated using $O(ε^{-2})$ single-source distance computations. For a set $V$ of $n$ points in a metric space, we show that after preprocessing which uses $O(n)$ distance computations we can compute a weighted sample $S\subset V$ of size $O(ε^{-2})$ such that the average distance from any query point $v$ to $V$ can be estimated from the distances from $v$ to $S$. Finally, we show that for a set of points $V$ in a metric space, we can estimate the average pairwise distance using $O(n+ε^{-2})$ distance computations. The estimate is based on a weighted sample of $O(ε^{-2})$ pairs of points, which is computed using $O(n)$ distance computations. Our estimates are unbiased with normalized mean square error (NRMSE) of at most $ε$. Increasing the sample size by a $O(\log n)$ factor ensures that the probability that the relative error exceeds $ε$ is polynomially small.

研究の動機と目的

• 大規模なグラフやメトリック空間における正確な平均距離および中心性計算の計算不能性に対処する。
• 最小限の距離計算で、任意のクエリノードからすべてのノードへの平均距離を推定する手法を開発する。
• 不偏推定と正規化平均二乗誤差 ≤ ǫ の強い統計的保証を提供しつつ、計算コストを最小限に抑える。
• 入力サイズに対して部分線形なサンプル複雑度で、効率的な1メディアン計算とすべてのペアの距離和推定を可能にする。
• 再処理を必要とせず、メトリック空間内の任意のクエリノードに適応可能な普遍的なサンプリング戦略を設計する。

提案手法

• メトリック空間における距離のスパarsifiabilityに関する構造的洞察に基づいた、普遍的なPPS（サイズ確率に比例する）サンプリング方式を導入する。
• ノードの距離の逆数に比例する確率で重み付きサンプリングを行い、距離分布の代表的なカバレッジを確保する。
• O(n)回の距離計算から得られるO(ǫ⁻²)の重み付きサンプルを構築し、任意のクエリノードvに対してW(v) = Σᵤ dist(v,u)を推定する。
• 全ペアワイズ距離行列が、単一ソース距離から導かれる2つのベクトルの外積としてランク1近似で表現できることを活用する。
• 統計的集中限界を適用し、サンプルサイズをO(log n)倍に増加させることで、相対誤差がǫを超える確率が多項式的に小さくなることを示す。
• ノードの重要度重みβ(v)に基づいてサンプリング確率を調整することで、重み付き中心性にフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 大規模なグラフやメトリック空間において、強い統計的保証のもとで平均距離および閉じ込み中心性を効率的に推定できるか？
• RQ2 相対誤差がǫに達するように平均距離推定を行うために、必要な最小の単一ソース距離計算回数は何か？
• RQ3 1つの固定された重み付きサンプルを用いて、メトリック空間内の任意のクエリノードから平均距離を推定できるか？
• RQ4 O(n + ǫ⁻²)回の距離計算で、距離のすべてのペアの和を有界誤差で近似できるか？
• RQ5 ノードの重要度が異なる重み付き中心性測度において、サンプリング戦略はどのように適応するか？

主な発見

• グラフ内のすべてのノードの平均距離は、O(ǫ⁻²)回の単一ソース最短経路計算のみで推定可能であり、正規化平均二乗誤差 ≤ ǫ の不偏推定が達成される。
• メトリック空間内のn個の点の集合に対して、O(n)回の距離計算で事前にO(ǫ⁻²)の重み付きサンプルを生成することで、任意のクエリノードからの平均距離推定を高速に行える。
• O(ǫ⁻²)のペアを適切な重みでサンプリングすることで、O(n + ǫ⁻²)回の距離計算で、すべてのペアの距離和を推定できる。
• サンプルサイズをO(log n)倍に増加させると、相対誤差がǫを超える確率が多項式的に小さくなる。
• サンプリング確率は任意のクエリノードに適応可能な普遍的なPPS方式であり、2つのベクトルの外積によるランク1行列近似で全距離行列を近似可能である。
• ノード重みβ(v)に応じてサンプリング確率を調整することで、重み付き中心性にフレームワークを一般化でき、同じ誤差保証を維持する。