[论文解读] Beyond Triangles: A Distributed Framework for Estimating 3-profiles of Large Graphs

Ethan R. Elenberg, Karthikeyan Shanmugam+2 more|arXiv (Cornell University)|Jun 22, 2015

Graph Theory and Algorithms被引用 7

一句话总结

本文提出了一种分布式、基于采样的框架，用于在大规模图中高效估算3-轮廓（3-profiles）——即所有诱导3-节点子图的计数。通过引入3-轮廓稀疏化器（3-profile sparsifiers）和边旋转（edge pivoting）机制，该方法实现了在分布式系统上并行计算全局、局部和自体（ego）3-轮廓的可扩展、高精度计算，性能达到三角形计数水平，并具备可证明的集中性界限。

ABSTRACT

We study the problem of approximating the $3$-profile of a large graph. $3$-profiles are generalizations of triangle counts that specify the number of times a small graph appears as an induced subgraph of a large graph. Our algorithm uses the novel concept of $3$-profile sparsifiers: sparse graphs that can be used to approximate the full $3$-profile counts for a given large graph. Further, we study the problem of estimating local and ego $3$-profiles, two graph quantities that characterize the local neighborhood of each vertex of a graph. Our algorithm is distributed and operates as a vertex program over the GraphLab PowerGraph framework. We introduce the concept of edge pivoting which allows us to collect $2$-hop information without maintaining an explicit $2$-hop neighborhood list at each vertex. This enables the computation of all the local $3$-profiles in parallel with minimal communication. We test out implementation in several experiments scaling up to $640$ cores on Amazon EC2. We find that our algorithm can estimate the $3$-profile of a graph in approximately the same time as triangle counting. For the harder problem of ego $3$-profiles, we introduce an algorithm that can estimate profiles of hundreds of thousands of vertices in parallel, in the timescale of minutes.

研究动机与目标

• 解决在大规模图中高效估算3-轮廓（所有诱导3-节点子图的计数）的挑战，其中精确计算不可行。
• 设计一种可证明准确的采样方案，通过紧密的集中性界限，在减小图规模的同时保留3-轮廓估计的准确性。
• 设计一种分布式算法，以最小通信开销在并行环境中计算局部和自体3-轮廓。
• 在商用集群上实现可扩展、高性能的3-轮廓计算，适用于真实世界图数据。

提出的方法

• 引入3-轮廓稀疏化器：通过随机边采样形成的稀疏子图，以高概率保留3-轮廓计数。
• 采用一种新颖的边旋转机制，无需在每个顶点显式存储2跳邻接列表，即可收集2跳邻域信息。
• 在GraphLab PowerGraph框架内使用Gather-Apply-Scatter模型，实现所有顶点上局部3-轮廓的并行计算。
• 结合边旋转方程与局部团计数，高效地在分布式环境中计算自体3-轮廓。
• 基于Kim和Vu关于多变量多项式的工作，应用集中不等式，并通过变量变换扩展以处理3-轮廓中非完全正项的情况。
• 利用采样概率$p$推导出3-轮廓的无偏估计量，并提供误差界限的理论保证。

实验结果

研究问题

• RQ1 是否可以使用边子采样构建一个可证明准确的稀疏表示（3-轮廓稀疏化器），以保留大规模图的3-轮廓？
• RQ2 在分布式系统中，如何高效且并行地计算局部3-轮廓（即每个顶点参与子图的计数）？
• RQ3 在数十万数量级顶点上，自体3-轮廓估计（顶点邻域的3-轮廓）的可扩展性和准确性如何？
• RQ4 所提出的框架能否在估算更丰富的3-轮廓信息的同时，实现与三角形计数相当的性能？

主要发现

• 所提出的3-prof算法在各种图和采样概率下，对全局3-轮廓的估计误差比率始终接近1.0，与真实值极为接近，如图12中的误差棒所示。
• Ego-par算法在640核集群上可在数分钟内完成对最多480万顶点的自体3-轮廓计算，表现出随着核心数增加的强线性可扩展性。
• 对于大规模自体集合，Ego-par相比朴素串行算法Ego-ser性能提升达数个数量级，且运行时间几乎不随自体顶点数增加而变化。
• 该算法在AWS EC2和Asterix集群上均表现出高效可扩展性，Ego-par的运行时间随机器数增加而减少，而Ego-ser因网络通信增加而性能下降。
• 边旋转机制实现了高效的2跳信息收集，通信开销极低，使得无需显式存储2跳邻域信息即可并行计算局部3-轮廓。
• 尽管需追踪全部四种3-节点诱导子图，该框架在全局3-轮廓估计上仍实现了与三角形计数相当的性能。