[论文解读] Average Distance Queries through Weighted Samples in Graphs and Metric Spaces: High Scalability with Tight Statistical Guarantees

Shiri Chechik, Edith Cohen+1 more|arXiv (Cornell University)|Mar 30, 2015

Complexity and Algorithms in Graphs参考文献 18被引用 15

一句话总结

本文提出了一种加权采样框架，可在图和度量空间中实现高度可扩展的平均距离与接近中心性估计，并具备紧密的统计保证。通过使用通用的PPS（与大小成比例的概率）采样方案并仅需O(ǫ⁻²)次采样，该方法实现了无偏估计，且归一化均方误差 ≤ ǫ，同时仅需O(ǫ⁻²)次单源最短路径计算，从而实现了大规模网络与度量空间分析的高效处理。

ABSTRACT

The average distance from a node to all other nodes in a graph, or from a query point in a metric space to a set of points, is a fundamental quantity in data analysis. The inverse of the average distance, known as the (classic) closeness centrality of a node, is a popular importance measure in the study of social networks. We develop novel structural insights on the sparsifiability of the distance relation via weighted sampling. Based on that, we present highly practical algorithms with strong statistical guarantees for fundamental problems. We show that the average distance (and hence the centrality) for all nodes in a graph can be estimated using $O(ε^{-2})$ single-source distance computations. For a set $V$ of $n$ points in a metric space, we show that after preprocessing which uses $O(n)$ distance computations we can compute a weighted sample $S\subset V$ of size $O(ε^{-2})$ such that the average distance from any query point $v$ to $V$ can be estimated from the distances from $v$ to $S$. Finally, we show that for a set of points $V$ in a metric space, we can estimate the average pairwise distance using $O(n+ε^{-2})$ distance computations. The estimate is based on a weighted sample of $O(ε^{-2})$ pairs of points, which is computed using $O(n)$ distance computations. Our estimates are unbiased with normalized mean square error (NRMSE) of at most $ε$. Increasing the sample size by a $O(\log n)$ factor ensures that the probability that the relative error exceeds $ε$ is polynomially small.

研究动机与目标

• 解决在大规模图和度量空间中精确计算平均距离与中心性的计算不可行性。
• 开发一种方法，仅通过最少的距禪计算，从任意查询点估计到所有节点的平均距离。
• 提供强有力的统计保证——无偏估计且归一化均方误差 ≤ ǫ——同时最小化计算成本。
• 实现在亚线性样本复杂度下相对于输入规模的高效1-中位数计算与全对距离和估计。
• 设计一种通用采样策略，适用于度量空间中任意查询点，无需重新处理。

提出的方法

• 基于对度量空间中距离稀疏化的结构洞察，提出一种基于通用PPS（与大小成比例）的采样方案。
• 采用加权采样，其中采样概率与节点距离的倒数成正比，以确保对距离分布的代表性覆盖。
• 通过O(n)次距离计算构建大小为O(ǫ⁻²)的加权样本，以估计任意查询点v的W(v) = Σᵤ dist(v,u)。
• 利用全成对距离矩阵可由两个单源距离导出的向量的秩-1外积近似这一事实。
• 应用统计浓度不等式，表明当样本大小增加O(log n)时，相对误差超过ǫ的概率降低至多项式小量。
• 通过根据节点重要性权重β(v)调整采样概率，将该框架扩展至加权中心性。

实验结果

研究问题

• RQ1 是否可以在大规模图和度量空间中，以强统计保证高效估计平均距离与接近中心性？
• RQ2 为实现平均距离估计的相对误差ǫ，最少需要多少次单源距离计算？
• RQ3 是否可以使用单个、固定的加权样本，对度量空间中任意查询点估计平均距离？
• RQ4 是否可能通过O(n + ǫ⁻²)次距离计算，以有界误差近似全对距离和？
• RQ5 当节点具有不同重要性时，该采样策略如何适应加权中心性度量？

主要发现

• 通过仅O(ǫ⁻²)次单源最短路径计算，即可估计图中所有节点的平均距离，实现无偏估计且归一化均方误差 ≤ ǫ。
• 对于度量空间中的任意n个点，可通过O(n)次距离计算预先计算出大小为O(ǫ⁻²)的加权样本，从而实现从任意查询点的快速平均距离估计。
• 通过以适当权重采样O(ǫ⁻²)对点，仅需O(n + ǫ⁻²)次距离计算，即可估计全对距离和。
• 当样本大小增加O(log n)倍时，相对误差超过ǫ的概率为多项式小量。
• 采样概率构成一种通用PPS方案，对任意查询点均有效，且全距离矩阵可通过两个向量的外积近似为秩-1矩阵。
• 通过根据节点权重β(v)调整采样概率，该框架可推广至加权中心性，同时保持相同的误差保证。