[论文解读] Graph Size Estimation

Maciej Kurant, Carter T. Butts+1 more|arXiv (Cornell University)|Oct 1, 2012

Complex Network Analysis Techniques参考文献 47被引用 21

一句话总结

本文提出 IE（Induced Edges），一种利用节点采样估算图大小 $N$ 的新方法，以及 SafetyMargin，一种用于校正随机游走（RW）采样中依赖性的技术。通过结合 IE 与 SafetyMargin，该方法在 Facebook 数据上的采样成本相比最先进方法降低了超过 100 倍，同时在显著减少采样量的情况下实现了高精度。

ABSTRACT

Many online networks are not fully known and are often studied via sampling. Random Walk (RW) based techniques are the current state-of-the-art for estimating nodal attributes and local graph properties, but estimating global properties remains a challenge. In this paper, we are interested in a fundamental property of this type - the graph size N, i.e., the number of its nodes. Existing methods for estimating N are (i) inefficient and (ii) cannot be easily used with RW sampling due to dependence between successive samples. In this paper, we address both problems. First, we propose IE (Induced Edges), an efficient technique for estimating N from an independence sample of graph's nodes. IE exploits the edges induced on the sampled nodes. Second, we introduce SafetyMargin, a method that corrects estimators for dependence in RW samples. Finally, we combine these two stand-alone techniques to obtain a RW-based graph size estimator. We evaluate our approach in simulations on a wide range of real-life topologies, and on several samples of Facebook. IE with SafetyMargin typically requires at least 10 times fewer samples than the state-of-the-art techniques (over 100 times in the case of Facebook) for the same estimation error.

研究动机与目标

• 解决在无法获取完整数据的情况下，对大规模部分观测图中总节点数 $N$ 进行估计的挑战。
• 克服现有方法在随机游走（RW）采样中效率低下且不适用的问题，因为 RW 采样会产生依赖样本。
• 开发一种适用于现实采样约束（如在线社交网络和分布式系统中的约束）的实用且高效的 $N$ 估计器。
• 在独立采样不可行的情况下，实现以极低采样成本进行高精度的图大小估计。

提出的方法

• IE 通过分析采样节点之间诱导出的边数来估计 $N$，利用边密度与图总大小之间的相关性。
• SafetyMargin 通过基于连续样本相关结构推导出的基于间隔的校正方法，调整估计器的方差，从而校正 RW 采样中的依赖性。
• 该方法将 IE 与 SafetyMargin 结合，生成一种鲁棒且兼容 RW 的估计器，在样本存在依赖性的情况下仍能保持高精度。
• 该方法采用非均匀采样模型，并推导出理论校正方法，以同时处理均匀和非均匀的节点采样。
• 提供了 $O(n)$ 时间复杂度的优化 Python 实现，支持在大规模图上高效部署。
• 通过在真实世界拓扑结构上的仿真以及在 Facebook 数据集上使用均匀采样和 RW 采样的实证评估，验证了该框架的有效性。

实验结果

研究问题

• RQ1 我们能否通过独立节点采样，比现有方法更高效地估计图大小 $N$？
• RQ2 如何使现有估计器有效适配随机游走产生的依赖样本？
• RQ3 在 RW 采样下，何种校正机制能可靠地降低图大小估计中的偏差与方差？
• RQ4 IE 与 SafetyMargin 的结合在真实世界网络（如 Facebook）上能将采样效率提升多少？

主要发现

• 在 Facebook 数据上，IE 搭配 SafetyMargin 相比最先进方法，采样成本降低至少 10 倍，最高达 100 倍，且保持相同的估计误差。
• 在 Facebook’09 数据上，IE 以 10 倍的采样量达到与 NODE 相同的精度，采样成本降低 10 倍。
• 在 Facebook’10 数据上，IE 与 SafetyMargin 的结合使采样成本相比标准方法降低超过 100 倍。
• 即使在 RW 采样高度依赖的情况下，SafetyMargin 仍能产生稳定且集中的估计结果，而标准的稀释技术无法实现稳定或可解释的结果。
• 该方法成功估计出 Facebook’09 的 $N \approx 240M$，与 Facebook 官方公告一致，验证了其准确性。
• 开源的 Python 实现确保了 $O(n)$ 时间复杂度，使该方法在实际部署中具备可扩展性和实用性。