[论文解读] Estimating the Size of a Large Network and its Communities from a Random Sample

Lin Chen, Amin Karbasi+1 more|PubMed|Oct 26, 2016

Complex Network Analysis Techniques参考文献 1被引用 7

一句话总结

本文提出 Pulse，一种贝叶斯估计算法，能够从随机子样本中准确估计大规模网络的总规模及其社区规模，利用随机块模型（SBM）框架。Pulse 在有限样本设置下，相较于广泛使用的网络规模扩展估计器（NSUM），实现了更低的相对误差和方差，尤其在性能上表现更优，同时还能估计社区特定规模——这是 NSUM 所不具备的能力。

ABSTRACT

Most real-world networks are too large to be measured or studied directly and there is substantial interest in estimating global network properties from smaller sub-samples. One of the most important global properties is the number of vertices/nodes in the network. Estimating the number of vertices in a large network is a major challenge in computer science, epidemiology, demography, and intelligence analysis. In this paper we consider a population random graph <i>G</i> = (<i>V, E</i>) from the stochastic block model (SBM) with <i>K</i> communities/blocks. A sample is obtained by randomly choosing a subset <i>W</i> ⊆ <i>V</i> and letting <i>G</i>(<i>W</i>) be the induced subgraph in <i>G</i> of the vertices in <i>W</i>. In addition to <i>G</i>(<i>W</i>), we observe the total degree of each sampled vertex and its block membership. Given this partial information, we propose an efficient PopULation Size Estimation algorithm, called PULSE, that accurately estimates the size of the whole population as well as the size of each community. To support our theoretical analysis, we perform an exhaustive set of experiments to study the effects of sample size, <i>K</i>, and SBM model parameters on the accuracy of the estimates. The experimental results also demonstrate that PULSE significantly outperforms a widely-used method called the network scale-up estimator in a wide variety of scenarios.

研究动机与目标

• 解决在无法进行完整枚举的情况下，对大规模隐藏网络中节点总数进行估计的挑战。
• 在仅获得节点随机子样本及其度数的情况下，估计网络中各个社区的规模。
• 开发一种在有限样本条件下既准确又稳健的方法，以应对现有方法（如 NSUM）在该条件下出现的偏差和高方差问题。
• 提供一个原则性的贝叶斯框架，确保网络规模和社区规模的后验分布定义良好。

提出的方法

• Pulse 将网络建模为具有 K 个社区的随机块模型（SBM），其中每个节点属于 K 个块之一，且块内具有特定的边连接概率。
• 该算法观测一个随机子样本 W，包括其诱导子图 G(W)、总度数 d(v) 和块归属信息。
• Pulse 采用贝叶斯估计方法，在 SBM 框架下推断总群体规模 N 和各社区规模 Ni 的后验分布。
• 它建立了后验矩存在的理论正则性条件，确保统计一致性。
• 该方法采用基于似然的推断框架，同时考虑社区内和社区间的边连接概率。
• 通过在不同 SBM 参数、样本大小和社区结构下进行大量模拟，评估 Pulse 的鲁棒性和准确性。

实验结果

研究问题

• RQ1 当仅可观测到网络的随机子样本时，如何准确估计其总节点数？
• RQ2 我们能否从部分观测中同时估计网络内各个社区的规模？
• RQ3 在不同网络配置下，Pulse 与网络规模扩展估计器（NSUM）在偏差、方差和相对误差方面的表现如何比较？
• RQ4 在 SBM 框架下，网络规模估计的后验分布理论适定性由哪些条件保证？
• RQ5 样本大小、社区数量 K 以及社区凝聚度（社区内与社区间边密度）如何影响估计准确性？

主要发现

• Pulse 在广泛的网络配置下，相较于网络规模扩展估计器（NSUM），在相对误差和方差方面均显著更优。
• 尽管 NSUM 在渐近意义上无偏，但在有限样本下表现出显著偏差，且平均而言高估了网络规模，这通过中位数相对误差持续高于零得到验证。
• Pulse 对总网络规模 N 和各社区规模 Ni 的估计均为无偏，且在不同社区凝聚度水平下，中位数相对误差接近零。
• Pulse 的估计方差始终低于 NSUM，且两种方法的准确性均随抽样比例（n/N）增加而提升。
• 随着社区数量 K 增加，两种方法的方差均上升，但 Pulse 即使在高 K 设置下仍保持更优性能。
• Pulse 能够成功估计社区特定规模，这是 NSUM 所不具备的能力，使其在隐藏网络的社区层面推断中独具优势。