[论文解读] I/O-efficient algorithms for localized bisimulation partition construction and maintenance on massive graphs

Y Yongming Luo, George Fletcher+3 more|arXiv (Cornell University)|Oct 2, 2012

Topological and Geometric Data Analysis被引用 4

一句话总结

本论文提出了首个用于在大规模图上构建和维护 k-双化（k-bisimulation）划分的 I/O 高效算法，采用外部内存模型以最小化磁盘 I/O 操作。该方法在构建阶段实现了 O(k·sort(Et) + k·scan(Nt) + sort(|Nt|)) 的最优 I/O 限制，在维护阶段实现了 O(k·sort(Et) + k·sort(Nt)) 的最优 I/O 限制，展示了在真实世界和合成图上的强大可扩展性和效率。

ABSTRACT

In this paper, we present, to our knowledge, the fi??rst known I/O e??cient solutions for computing the k-bisimulation partition of a massive graph, and performing maintenance of such a partition upon updates to the underlying graph. Bisimulation is a robust notion of node equivalence which is ubiquitous in the theory and application of graph data. It defi??nes an intuitive notion of nodes in a graph sharing fundamental structural features. We consider in particular k-bisimulation, which is the standard variant of bisimulation where the topological features of nodes are only considered within a local neighborhood of radius k > 0. The I/O cost of our partition construction algorithm is bounded by O(k.sort(Et) + k.scan(Nt) + sort(jNtj)), while our maintenance algorithms are bounded by O(k.sort(Et) + k.sort(Nt)). Here, Et and Nt are the number of disk pages occupied by the input graph's edge set and node set, resp., and sort(n) and scan(n) are the cost of sorting and scanning, resp., a ??le occupying n pages in external memory. Empirical analysis on a variety of massive real-world and synthetic graph datasets shows that our algorithms not only perform e??ciently, but also scale gracefully as graphs grow in size.

研究动机与目标

• 解决在外部内存中存储的大型图上计算 k-双化划分时缺乏 I/O 高效解决方案的问题。
• 在底层图发生动态更新时，实现 k-双化划分的高效且可扩展的维护。
• 设计最小化磁盘 I/O 操作的算法，这对于处理无法完全装入主内存的图至关重要。
• 提供反映真实世界和合成图工作负载实际性能的理论 I/O 复杂度界限。
• 证明所提出的算法在图规模增大时能够平稳扩展，保持高效率。

提出的方法

• 该算法采用外部内存模型，数据存储在磁盘上并以页为单位访问，从而最小化昂贵的 I/O 操作。
• 通过基于其 k 跳邻域结构的迭代方式，对节点划分进行细化，来计算 k-双化。
• 在构建阶段，对边集和节点集应用排序与扫描操作的组合，以将等价节点分组。
• 在维护阶段，算法通过在 k 半径邻域内进行局部重新计算，高效传播来自更新边或节点的变更。
• 该方法利用了 k-双化仅依赖于局部图结构的特性，从而实现具有有界 I/O 成本的增量更新。
• 使用标准的外部内存复杂度度量方法推导理论 I/O 边界：sort(n) 表示对 n 页进行排序，scan(n) 表示对 n 页进行扫描。

实验结果

研究问题

• RQ1 是否可以在外部内存中以最优 I/O 复杂度高效地完成 k-双化划分的构建？
• RQ2 在图更新后，是否能以低 I/O 成本实现 k-双化划分的增量维护？
• RQ3 在 I/O 性能方面，所提出的算法如何随着图规模的增加而扩展？
• RQ4 在大规模图上构建和维护 k-双化划分的理论 I/O 复杂度是多少？
• RQ5 I/O 高效算法是否在真实世界和合成图数据集上实现了实际的性能提升？

主要发现

• k-双化划分构建的 I/O 成本被限制在 O(k·sort(Et) + k·scan(Nt) + sort(|Nt|)) 以内，实现了最优 I/O 复杂度。
• 维护成本被限制在 O(k·sort(Et) + k·sort(Nt)) 以内，支持高效的增量更新。
• 实验评估证实，这些算法在图规模增大时表现出高效且可平稳扩展的性能。
• 这些算法在真实世界和合成的大型图数据集上均表现出色。
• 理论 I/O 边界与实际观测性能一致，验证了模型的实际相关性。
• 使用排序和扫描原语确保了这些算法在标准外部内存系统上的可实现性和高效性。