[论文解读] Estimation of Graphlet Statistics

Ryan A. Rossi, Rong Zhou+1 more|arXiv (Cornell University)|Jan 6, 2017

Advanced Graph Neural Networks参考文献 36被引用 12

一句话总结

该论文提出了一种快速、可扩展且准确的无偏估计框架，用于在大规模网络中计算图谱统计量，采用基于边的采样方法来近似计算连通与非连通图谱的计数。该方法在十亿条边的图上仅需数秒即可实现小于1%的相对误差，相比以往方法快几个数量级，同时支持并行化处理和自适应样本大小选择，以满足用户定义的精度边界要求。

ABSTRACT

Graphlets are induced subgraphs of a large network and are important for understanding and modeling complex networks. Despite their practical importance, graphlets have been severely limited to applications and domains with relatively small graphs. Most previous work has focused on exact algorithms, however, it is often too expensive to compute graphlets exactly in massive networks with billions of edges, and finding an approximate count is usually sufficient for many applications. In this work, we propose an unbiased graphlet estimation framework that is (a) fast with significant speedups compared to the state-of-the-art, (b) parallel with nearly linear-speedups, (c) accurate with <1% relative error, (d) scalable and space-efficient for massive networks with billions of edges, and (e) flexible for a variety of real-world settings, as well as estimating macro and micro-level graphlet statistics (e.g., counts) of both connected and disconnected graphlets. In addition, an adaptive approach is introduced that finds the smallest sample size required to obtain estimates within a given user-defined error bound. On 300 networks from 20 domains, we obtain <1% relative error for all graphlets. This is significantly more accurate than existing methods while using less data. Moreover, it takes a few seconds on billion edge graphs (as opposed to days/weeks). These are by far the largest graphlet computations to date.

研究动机与目标

• 解决在拥有数十亿条边的超大规模网络中，精确图谱计算所面临的可扩展性限制问题。
• 实现在宏观与微观层面，对连通与非连通图谱统计量的高精度、高效率估计。
• 开发一种并行、空间高效且自适应的估计框架，平衡精度、速度与资源使用。
• 通过将计算时间从数天缩短至数秒，支持实时与交互式图挖掘应用。
• 将图谱分析从连通图谱模式扩展至非连通子图，后者在提升分类与建模能力方面至关重要。

提出的方法

• 提出一种基于边的估计框架，通过采样边诱导的邻域来计算图谱统计量的无偏估计。
• 利用从局部边邻域推导出的新颖充分统计量，估计包括非连通图谱在内的完整图谱谱系。
• 采用无偏估计器并提供可证明的紧密误差界，实现在最小数据量下的高精度近似。
• 引入自适应采样策略，自动确定满足用户定义误差边界的最小样本量。
• 设计适用于共享内存与分布式内存系统的并行算法，在多种网络类型上实现接近线性的加速比。
• 在基于Web的可视化分析平台中实现该框架，支持亚毫秒级响应时间的实时交互查询。

实验结果

研究问题

• RQ1 能否在拥有数十亿条边的超大规模网络中，高精度且高效地估计图谱统计量？
• RQ2 如何以低计算成本高精度地估计连通与非连通图谱？
• RQ3 为实现用户定义的误差边界，图谱估计所需的最小样本量是多少？
• RQ4 该估计框架能否有效并行化，实现在大规模网络上接近线性的加速比？
• RQ5 该框架能否支持实时交互式图分析与机器学习应用？

主要发现

• 所提出的框架在来自20个不同领域的300个真实世界网络上均实现了小于1%的相对误差，显著优于现有方法在精度与效率方面的表现。
• 在十亿条边的图上，计算时间从数天或数周缩短至仅数秒，相比最先进的精确与近似方法实现了数量级的加速。
• 在flickr网络上，该方法比3路径采样启发式方法快8,047倍，甚至在某些情况下快于精确算法。
• 并行实现展示了在广泛类型的图上接近线性的加速比，证实了在共享内存与分布式内存架构上的强可扩展性。
• 自适应采样在保持精度的同时减少了数据使用量，消除了用户手动调整样本大小的需要。
• 该框架实现了迄今为止最大的图谱计算规模，包括在大规模网络中对连通与非连通图谱的全谱系分析。