[论文解读] Graph Sparsification via Refinement Sampling

Ashish Goel, Michael Kapralov+1 more|arXiv (Cornell University)|Apr 27, 2010

Graph Theory and Algorithms参考文献 9被引用 10

一句话总结

本文提出了一种新颖的图稀疏化技术——精炼采样（refinement sampling），可实现高效的单遍半流算法。该方法在 $\tilde{O}(m)$ 时间内、每个节点使用 $O(\log^2 n)$ 空间，构造出具有 $O(n\log^3 n/{\epsilon}^2)$ 条边的 ${\epsilon}$-稀疏化图，相较于以往方法在时间和空间效率上均有显著提升，尤其适用于大规模图数据。

ABSTRACT

A graph G'(V,E') is an \eps-sparsification of G for some \eps>0, if every (weighted) cut in G' is within (1\pm \eps) of the corresponding cut in G. A celebrated result of Benczur and Karger shows that for every undirected graph G, an \eps-sparsification with O(n\log n/\e^2) edges can be constructed in O(m\log^2n) time. Applications to modern massive data sets often constrain algorithms to use computation models that restrict random access to the input. The semi-streaming model, in which the algorithm is constrained to use ilde O(n) space, has been shown to be a good abstraction for analyzing graph algorithms in applications to large data sets. Recently, a semi-streaming algorithm for graph sparsification was presented by Anh and Guha; the total running time of their implementation is Ω(mn), too large for applications where both space and time are important. In this paper, we introduce a new technique for graph sparsification, namely refinement sampling, that gives an ilde{O}(m) time semi-streaming algorithm for graph sparsification. Specifically, we show that refinement sampling can be used to design a one-pass streaming algorithm for sparsification that takes O(\log\log n) time per edge, uses O(\log^2 n) space per node, and outputs an \eps-sparsifier with O(n\log^3 n/\eps^2) edges. At a slightly increased space and time complexity, we can reduce the sparsifier size to O(n \log n/\e^2) edges matching the Benczur-Karger result, while improving upon the Benczur-Karger runtime for m=ω(n\log^3 n). Finally, we show that an \eps-sparsifier with O(n \log n/\eps^2) edges can be constructed in two passes over the data and O(m) time whenever m =Ω(n^{1+δ}) for some constant δ>0. As a by-product of our approach, we also obtain an O(m\log\log n+n \log n) time streaming algorithm to compute a sparse k-connectivity certificate of a graph.

研究动机与目标

• 解决现有图稀疏化算法在时间和空间均受限的大规模数据场景下的低效问题。
• 设计一种流算法，在最小化时间和空间复杂度的同时保持切割近似质量。
• 设计一种单遍半流算法，构建高质量的 ${\epsilon}$-稀疏化图，且边数接近最优。
• 实现在动态环境（如不断演化的社交网络）中对稀疏化图的在线维护。
• 在时间与空间复杂度上超越先前工作，尤其适用于边数满足 $m = \omega(n\log^3 n)$ 的图。

提出的方法

• 采用几何递减的边采样率，通过迭代方式细化连通分量，基于分离阈值估计边的强度。
• 利用卡格尔（Karger）的采样定理，确保子图的切割值在 $1\pm\epsilon$ 因子范围内近似原始图的切割值。
• 在采样分区上应用二分查找，以每次边 $O(\log(1/\delta))$ 的时间复杂度估计边强度，精度达到 $n^\delta$ 因子。
• 以与 $\min\left\{\frac{\rho n^\delta}{{\epsilon}^2 s''_e}, 1\right\}$ 成比例的概率采样边，其中 $s''_e$ 为边强度的估计值。
• 采用两遍处理方法：第一遍采样边并构建连通性数据结构；第二遍估计边强度并据此进行采样。
• 在最终采样图上应用 Benczúr-Karger 算法，将稀疏化图的大小减少至 $O(n\log n/{\epsilon}^2)$ 条边。

实验结果

研究问题

• RQ1 能否设计一种单遍半流算法，在接近线性时间复杂度下实现边数为 $O(n\log n/{\epsilon}^2)$ 的 ${\epsilon}$-稀疏化图？
• RQ2 在无全图随机访问能力的流式模型中，如何高效估计边强度？
• RQ3 在动态或增量图处理中，空间、时间与稀疏化质量之间存在何种权衡？
• RQ4 精炼采样能否在时间和空间效率上均优于现有半流算法？
• RQ5 在何种条件下，两遍算法可实现图稀疏化的线性时间性能？

主要发现

• 单遍半流算法在 $\tilde{O}(m)$ 时间内、每个节点使用 $O(\log^2 n)$ 空间，构造出边数为 $O(n\log^3 n/{\epsilon}^2)$ 的 ${\epsilon}$-稀疏化图。
• 每条边的摊销时间复杂度为 $O(\log\log n)$，显著优于以往方法的 $\Omega(n)$ 时间复杂度。
• 当 $m = \Omega(n^{1+\delta})$ 时，两遍算法的时间复杂度为 $O(m\log(1/\delta)) + \tilde{O}(n^{1+\delta})$，当 $\delta$ 为常数时可达到线性时间。
• 通过在精炼采样输出结果上应用 Benczúr-Karger 采样，最终稀疏化图的边数减少至 $O(n\log n/{\epsilon}^2)$ 条。
• 该算法以高概率保持 $1\pm\epsilon$ 的切割近似质量，其有效性通过集中不等式和卡格尔采样定理得到验证。
• 一种时间复杂度为 $O(m\log\log n + n\log n)$ 的流式算法可作为副产品计算出稀疏的 $k$-连通性证书。