[论文解读] On the bias of BFS

Maciej Kurant, Athina Markopoulou+1 more|arXiv (Cornell University)|Apr 10, 2010

Complex Network Analysis Techniques参考文献 30被引用 32

一句话总结

本文量化了在具有给定度分布 $p_k$ 的随机图上，广度优先搜索（BFS）采样中的度偏差，表明BFS系统性地过度代表高阶度节点。它证明了BFS、DFS、森林燃烧法和雪球采样在这些图中诱导出相同的偏差，并提出了一个校正方法，通过在Facebook网络上的验证，为无偏图采样提供了实用指导。

ABSTRACT

Breadth First Search (BFS) and other graph traversal techniques are widely used for measuring large unknown graphs, such as online social networks. It has been empirically observed that an incomplete BFS is biased toward high degree nodes. In contrast to more studied sampling techniques, such as random walks, the precise bias of BFS has not been characterized to date. In this paper, we quantify the degree bias of BFS sampling. In particular, we calculate the node degree distribution expected to be observed by BFS as a function of the fraction of covered nodes, in a random graph $RG(p_k)$ with a given degree distribution $p_k$. Furthermore, we also show that, for $RG(p_k)$, all commonly used graph traversal techniques (BFS, DFS, Forest Fire, and Snowball Sampling) lead to the same bias, and we show how to correct for this bias. To give a broader perspective, we compare this class of exploration techniques to random walks that are well-studied and easier to analyze. Next, we study by simulation the effect of graph properties not captured directly by our model. We find that the bias gets amplified in graphs with strong positive assortativity. Finally, we demonstrate the above results by sampling the Facebook social network, and we provide some practical guidelines for graph sampling in practice.

研究动机与目标

• 正式表征在大型未知图（如社交网络）中，由于BFS不完整导致的度偏差。
• 比较BFS与其他常见图遍历技术（包括DFS、森林燃烧法和雪球采样）的偏差行为。
• 为具有给定度分布 $p_k$ 的随机图中的观测采样偏差开发校正方法。
• 评估图的属性（如正度度相关性）对BFS偏差放大效应的影响。
• 通过在Facebook社交网络上的实证验证，提供实用的采样指导。

提出的方法

• 推导BFS在随机图 $RG(p_k)$ 中覆盖节点比例作为函数的期望度分布。
• 使用度分布 $p_k$ 和已探索节点比例，对遍历偏差进行数学建模。
• 证明BFS、DFS、森林燃烧法和雪球采样在 $RG(p_k)$ 图中产生相同的偏差，这是由于其共享的结构特性。
• 推导出一种校正公式，以根据覆盖节点比例调整观测到的度分布。
• 通过模拟实验评估图属性（如正度度相关性）对偏差放大的影响。
• 使用来自Facebook社交网络的真实世界数据进行实证验证，以确认理论预测。

实验结果

研究问题

• RQ1 在具有度分布 $p_k$ 的随机图中，BFS的度偏差如何依赖于覆盖节点的比例？
• RQ2 其他常见图遍历方法（DFS、森林燃烧法、雪球采样）在 $RG(p_k)$ 图中是否与BFS产生相同的度偏差？
• RQ3 是否可以使用理论模型校正BFS采样中的偏差，且该校正方法的有效性如何？
• RQ4 图的属性（如正度度相关性）如何影响BFS采样偏差的大小？
• RQ5 从理论分析中可以推导出哪些实用的采样策略，用于现实世界图的测量？

主要发现

• BFS采样对高阶度节点存在系统性偏差，采样节点的度分布与真实分布相比显著偏斜。
• 所有四种遍历方法——BFS、DFS、森林燃烧法和雪球采样——在 $RG(p_k)$ 图中产生完全相同的偏差，表明偏差具有共同的结构根源。
• 可通过推导出的解析公式校正观测到的偏差，该公式根据覆盖节点比例调整观测到的度分布。
• 图中的正度度相关性会放大BFS采样中的度偏差，使高阶度节点的过度代表更加严重。
• 在Facebook网络上的实证结果验证了理论预测，证实了该模型在真实场景中的准确性。
• 本研究为研究人员提供了实用指导，以选择采样策略并应用校正方法，实现具有代表性的图测量。