[论文解读] Estimating and Sampling Graphs with Multidimensional Random Walks

Bruno Ribeiro, Don Towsley|arXiv (Cornell University)|Feb 9, 2010

Complex Network Analysis Techniques参考文献 33被引用 58

一句话总结

本文提出了一种名为前沿采样（Frontier Sampling）的新方法，这是一种m维的随机游走技术，通过从均匀采样的顶点出发，使用m个相互依赖的随机游走者来提升在大规模、不连通或松散连接图中的估计精度。通过利用游走者的联合平稳分布，该方法在估计度分布尾部和全局网络特性方面，相比标准随机游走和顶点随机采样，实现了更低的估计误差。

ABSTRACT

Estimating characteristics of large graphs via sampling is a vital part of the study of complex networks. Current sampling methods such as (independent) random vertex and random walks are useful but have drawbacks. Random vertex sampling may require too many resources (time, bandwidth, or money). Random walks, which normally require fewer resources per sample, can suffer from large estimation errors in the presence of disconnected or loosely connected graphs. In this work we propose a new $m$-dimensional random walk that uses $m$ dependent random walkers. We show that the proposed sampling method, which we call Frontier sampling, exhibits all of the nice sampling properties of a regular random walk. At the same time, our simulations over large real world graphs show that, in the presence of disconnected or loosely connected components, Frontier sampling exhibits lower estimation errors than regular random walks. We also show that Frontier sampling is more suitable than random vertex sampling to sample the tail of the degree distribution of the graph.

研究动机与目标

• 解决在采样不连通或松散连接图时，标准随机游走方法存在的高估计误差问题。
• 提升估计全局网络特征（如度分布和聚类系数）的采样效率与精度。
• 与随机顶点采样相比，降低资源消耗，尤其适用于稀疏或速率受限的网络。
• 为独立多随机游走方法提供更稳健的替代方案，后者在有效探索子图方面可能表现不佳。
• 实现对度分布尾部的准确估计，该部分在随机顶点采样中难以被充分捕捉。

提出的方法

• 前沿采样采用m个相互依赖的随机游走者，其演化过程位于共享的m维状态空间中，每个维度对应一个游走者的位移。
• 该方法使用一个单一的m维马尔可夫链，其在原始图上的投影即为采样过程。
• 联合平稳分布确保了各个顶点被访问的概率与其度成正比，从而保持了标准随机游走的关键特性。
• 游走者基于一种保持细致平衡并确保收敛至正确平稳分布的转移机制，进行同步更新。
• 采样过程允许对图的特性（如度分布、度相关性及全局聚类系数）进行无偏估计。
• 该方法完全分布化，游走者之间无需协调或通信，因此在大规模网络中具有良好的可扩展性与实用性。

实验结果

研究问题

• RQ1 多游走者随机游走策略是否能降低在具有不连通或松散连接组件的图中估计误差？
• RQ2 前沿采样在估计全局网络特性方面，与单个随机游走和独立多随机游走相比表现如何？
• RQ3 前沿采样在估计度分布尾部方面是否优于随机顶点采样？
• RQ4 依赖游走者的联合行为是否能改善复杂网络中的混合与探索性能？
• RQ5 在m维空间中，联合平稳分布的理论与经验特性是什么？

主要发现

• 在真实世界网络的模拟中，前沿采样在具有不连通或松散连接组件的图中，相比标准随机游走，实现了更低的估计误差。
• 当从均匀随机顶点出发时，该方法在探索可能使单个游走者陷入困境的子图方面，优于独立的多随机游走。
• 前沿采样在估计度分布尾部方面，相比随机顶点采样提供了更精确的估计，该结论得到了理论论证与仿真实验的双重支持。
• m个游走者的联合平稳分布确保了顶点被采样的概率与其度成正比，从而保持了常规随机游走的统计特性。
• 该方法完全分布化，不产生任何协调或通信开销，因此具备良好的可扩展性，适用于大规模网络分析。
• 模拟结果表明，前沿采样在估计社交网络中的入度分布和群体成员比例方面更具鲁棒性。