[论文解读] Moss: A Scalable Tool for Efficiently Sampling and Counting 4- and 5-Node Graphlets

Pinghui Wang, Jing Tao+2 more|arXiv (Cornell University)|Sep 27, 2015

Complex Network Analysis Techniques参考文献 28被引用 13

一句话总结

该论文提出Moss，一种可扩展的工具，用于在大规模网络中高效采样和计数4个和5个节点的无向图谱（motifs）。它提出了基于顶点的采样方法，配备无偏估计器和精确的方差公式，可集成至Pregel和GraphLab等系统中，与现有最先进方法相比，在保持相同准确度的前提下实现了数量级的速度提升。

ABSTRACT

Counting the frequencies of 3-, 4-, and 5-node undirected motifs (also know as graphlets) is widely used for understanding complex networks such as social and biology networks. However, it is a great challenge to compute these metrics for a large graph due to the intensive computation. Despite recent efforts to count triangles (i.e., 3-node undirected motif counting), little attention has been given to developing scalable tools that can be used to characterize 4- and 5-node motifs. In this paper, we develop computational efficient methods to sample and count 4- and 5- node undirected motifs. Our methods provide unbiased estimators of motif frequencies, and we derive simple and exact formulas for the variances of the estimators. Moreover, our methods are designed to fit vertex centric programming models, so they can be easily applied to current graph computing systems such as Pregel and GraphLab. We conduct experiments on a variety of real-word datasets, and experimental results show that our methods are several orders of magnitude faster than the state-of-the-art methods under the same estimation errors.

研究动机与目标

• 解决大规模网络中4个和5个节点图谱频率估计缺乏可扩展工具的问题。
• 开发计算高效且与现代图计算系统中使用的基于顶点的编程模型兼容的采样方法。
• 推导图谱频率估计器方差的精确、简洁公式，以指导采样预算的合理分配。
• 为社交网络和生物网络等复杂网络提供准确且可扩展的图谱计数能力。

提出的方法

• 提出一种基于顶点的采样框架，可在Pregel和GraphLab等分布式图处理系统上实现高效且可扩展的计算。
• 为4个和5个节点的图谱引入两阶段采样策略，结合多种采样模式以提高准确性并降低方差。
• 推导出图谱频率估计器方差的精确闭式表达式，实现对估计误差的精确控制。
• 使用加权估计器，将不同采样模式的结果进行组合，其系数基于图谱概率和期望频率推导得出。
• 利用指示变量和协方差分析来建模估计过程中图谱计数之间的依赖关系。
• 应用理论方差边界以优化采样预算，确保估计的准确性。

实验结果

研究问题

• RQ1 如何在大规模网络中高效且准确地估计4个和5个节点的无向图谱频率？
• RQ2 能否为图谱频率估计构建具有解析推导方差的无偏估计器？
• RQ3 如何设计采样过程，使其与现代图系统中使用的基于顶点的编程模型兼容？
• RQ4 所提出估计器的理论方差是多少？如何利用它来确定最优采样预算？
• RQ5 与现有最先进方法相比，该方法在性能和准确性方面表现如何？

主要发现

• 所提出的Moss框架在保持相同估计误差的前提下，性能比现有最先进方法快几个数量级。
• 该方法为4个和5个节点图谱频率提供了无偏估计器，并首次在此背景下推导出精确的方差公式。
• 采样策略与基于顶点的模型兼容，可部署于Pregel和GraphLab等系统中。
• 理论分析证实，当基于推导公式合理分配采样预算时，估计器的方差达到最小。
• 在真实世界数据集上的实验评估表明，该方法在多种网络类型中均实现了显著的速度提升和一致的准确性。