[论文解读] A new algorithm for extracting a small representative subgraph from a very large graph

Harish Sethu, Xiaoyu Chu|arXiv (Cornell University)|Jul 19, 2012

Complex Network Analysis Techniques参考文献 29被引用 10

一句话总结

本文提出了一种可扩展的图采样算法——极小样本提取器（Tiny Sample Extractor），该算法采用偏差补偿的随机游走方式，在仅保留原始节点数不足5%的子图的同时，有效保留了关键的拓扑特性，特别是度分布（以度指数衡量）和聚类系数。与Metropolized Random Walk、Snowball和Forest Fire等现有方法相比，该算法在收敛速度和准确性方面表现更优，即使在子图规模低于5%时，也能近乎理想地保持这些特性。

ABSTRACT

Many real-world networks are prohibitively large for data retrieval, storage and analysis of all of its nodes and links. Understanding the structure and dynamics of these networks entails creating a smaller representative sample of the full graph while preserving its relevant topological properties. In this report, we show that graph sampling algorithms currently proposed in the literature are not able to preserve network properties even with sample sizes containing as many as 20% of the nodes from the original graph. We present a new sampling algorithm, called Tiny Sample Extractor, with a new goal of a sample size smaller than 5% of the original graph while preserving two key properties of a network, the degree distribution and its clustering co-efficient. Our approach is based on a new empirical method of estimating measurement biases in crawling algorithms and compensating for them accordingly. We present a detailed comparison of best known graph sampling algorithms, focusing in particular on how the properties of the sample subgraphs converge to those of the original graph as they grow. These results show that our sampling algorithm extracts a smaller subgraph than other algorithms while also achieving a closer convergence to the degree distribution, measured by the degree exponent, of the original graph. The subgraph generated by the Tiny Sample Extractor, however, is not necessarily representative of the full graph with regard to other properties such as assortativity. This indicates that the problem of extracting a truly representative small subgraph from a large graph remains unsolved.

研究动机与目标

• 为解决从超大规模真实世界网络中提取小规模代表性子图的挑战，因为全图分析在规模和可访问性方面存在限制。
• 开发一种可扩展的采样算法，仅需访问 O(h) 个节点（其中 h 为样本大小），且在执行过程中无需预先知晓原始图的全局属性。
• 在样本规模控制在原始图5%以下的前提下，尽可能保留关键的拓扑特性，尤其是度分布与聚类系数。
• 减少标准爬行技术固有的测量偏差，特别是在仅能获得局部访问权限的网络中。
• 评估并比较所提算法与现有采样策略在收敛至原始图拓扑特性方面的性能表现。

提出的方法

• 该算法采用一种偏差随机游走机制，以补偿标准随机游走中固有的节点访问频率偏倚，后者通常倾向于高阶节点。
• 采用经验方法估计并校正爬行过程中引入的测量偏差，从而提升采样子图的代表性。
• 在发现每个新节点后，采样过程会返回起始节点，以确保系统性探索并减少冗余。
• 根据已访问节点的观测度分布动态调整偏差，以抵消优先连接效应的影响。
• 该算法设计为与所需样本规模呈线性可扩展，适用于大规模网络。
• 执行过程中无需输入原始图的全局属性（如度指数或聚类系数）。

实验结果

研究问题

• RQ1 是否存在一种图采样算法，可在样本规模小于原始图5%的情况下，仍能保留大规模网络的度分布？
• RQ2 随着样本规模的增加，不同采样策略在关键拓扑特性（度指数、聚类系数和度相关性）上的收敛行为如何变化？
• RQ3 与标准随机游走或基于BFS的方法相比，随机游走中的偏差补偿能在多大程度上提升采样子图的代表性？
• RQ4 是否可能通过一种新型采样策略，在更小的样本规模下实现对原始图度分布的更快收敛？
• RQ5 为何某些采样算法在成功保留某些特性（如聚类系数）的同时，却无法保留其他特性（如度相关性）？”

主要发现

• 即使在样本规模低于原始图5%的情况下，极小样本提取器在收敛至原始图度指数方面，显著快于Metropolized Random Walk、Snowball和Forest Fire采样方法。
• 仅使用1%的节点，该算法即可高精度地保留原始图的平均聚类系数，优于其他方法。
• 即使在20%的样本规模下，Snowball和Forest Fire采样仍无法收敛至原始度指数，表明其在保留度分布方面存在根本性局限。
• 该算法在保留度分布与聚类系数方面优于所有其他测试方法，包括计算成本更高或结构更复杂的算法。
• 尽管在度分布与聚类系数方面表现优异，该算法对度相关性的保留效果较差，表明单一采样方法无法同时保留所有网络特性。
• 结果表明，为所有网络特性创建真正具有代表性的子图的问题仍未解决，因为不同特性之间的保留权衡不可避免。