[论文解读] Streaming Balanced Graph Partitioning for Random Graphs

Isabelle Stanton|arXiv (Cornell University)|Dec 5, 2012

Graph Theory and Algorithms参考文献 23被引用 8

一句话总结

本文研究了在具有嵌入k-切分的随机图中，用于平衡图划分的流算法。通过一种新颖的有限Pólya瓮过程耦合方法，分析了两种贪心流算法——arg max与比例分配——的性能，证明了arg max变体能够恢复真实划分，而比例分配变体则失败，从而解释了先前的实验结果，并在流处理约束下建立了性能的理论边界。

ABSTRACT

There has been a recent explosion in the size of stored data, partially due to advances in storage technology, and partially due to the growing popularity of cloud-computing and the vast quantities of data generated. This motivates the need for streaming algorithms that can compute approximate solutions without full random access to all of the data. We model the problem of loading a graph onto a distributed cluster as computing an approximately balanced $k$-partitioning of a graph in a streaming fashion with only one pass over the data. We give lower bounds on this problem, showing that no algorithm can obtain an $o(n)$ approximation with a random or adversarial stream ordering. We analyze two variants of a randomized greedy algorithm, one that prefers the $\arg\max$ and one that is proportional, on random graphs with embedded balanced $k$-cuts and are able to theoretically bound the performance of each algorithms - the $\arg\max$ algorithm is able to recover the embedded $k$-cut, while, surprisingly, the proportional variant can not. This matches the experimental results in [25].

研究动机与目标

• 理解为何在流式图划分中，arg max贪心算法的表现优于比例变体，尽管后者在随机算法中更为常见。
• 在随机或对抗性流顺序下，建立任意流算法在平衡k-划分问题中可达到的近似比的理论下界。
• 通过一种新颖的有限Pólya瓮过程联系，分析贪心流算法在具有嵌入平衡k-切分的随机图上的性能。
• 为实验观察结果提供理论依据：在此类流式划分设置中，随机化可能降低性能。
• 确定成功恢复划分所需的密度与噪声条件（以边概率p和q表示），并评估随图规模增长的收敛性。

提出的方法

• 提出一种流模型，其中顶点和边以单次遍历方式到达，每个顶点根据当前边计数被分配到一个分区。
• 引入两种贪心变体：arg max（分配给当前边计数最多的分区）和比例分配（按当前边计数成比例分配）。
• 将划分过程建模为有限Pólya瓮过程，从而能够严格分析边在各分区间的分布动态。
• 利用Pólya瓮过程的集中不等式，限制分区大小和边分布相对于真实嵌入k-切分的偏差。
• 推导出成功恢复的理论条件：边密度满足p > 2 log n / |Ci|，跨组件边概率满足q < p / (6kl)。
• 通过具有嵌入k-切分的合成图，实证验证理论边界，使用到理想划分的欧几里得距离来度量误差。

实验结果

研究问题

• RQ1 是否存在任何流算法在随机或对抗性流顺序下，对平衡k-划分问题能达到o(n)的近似比？
• RQ2 为何arg max贪心算法能恢复嵌入的k-切分，而比例变体失败，尽管两者均为贪心且随机？
• RQ3 在流模型中，成功恢复划分所需的边密度（p）和跨组件边概率（q）的必要条件是什么？
• RQ4 贪心算法的性能如何随图规模增长而变化？随着图变大，收敛性是否改善？
• RQ5 理论边界在多大程度上与实际性能匹配，尤其是在噪声（q）超过理论阈值时？

主要发现

• 在随机或对抗性流顺序下，任何流算法都无法实现o(n)的近似比用于平衡k-划分问题。
• 当边密度p超过2 log n / |Ci|时，arg max贪心算法在随机图中以高概率成功恢复嵌入的k-切分。
• 比例贪心算法即使在有利条件下也未能恢复真实划分，原因在于过度随机化稀释了真实划分结构的信号。
• 理论分析表明，q < p / (6kl)是恢复的充分条件，但实验表明当q超过此边界时算法仍具有效性。
• 随着图规模增大，到最优划分的欧几里得距离迅速下降——即使在q超过理论边界的条件下，51,200个顶点时中位误差降至0.04。
• 收敛速度比定理中悲观界（q = O((k^2.4 log l)^{-1})）预测得更快，且随着图规模增长，性能显著提升。