[论文解读] On the Bias of Traceroute Sampling; or, Power-law Degree Distributions in Regular Graphs

Dimitris Achlioptas, Aaron Clauset+2 more|arXiv (Cornell University)|Mar 4, 2005

Complex Network Analysis Techniques参考文献 20被引用 34

一句话总结

本文严格分析了追踪路由采样在网络拓扑测量中引入的偏差，表明即使在度分布为规则分布或泊松分布的随机图中，追踪路由采样也会使图呈现出幂律度分布。通过连续时间分支过程模型，作者推导出BFS树中观测到的度分布的确切期望值，证明追踪路由采样系统性地扭曲了度分布，尤其倾向于高估靠近源节点的高阶度节点。

ABSTRACT

Understanding the structure of the Internet graph is a crucial step for building accurate network models and designing efficient algorithms for Internet applications. Yet, obtaining its graph structure is a surprisingly difficult task, as edges cannot be explicitly queried. Instead, empirical studies rely on traceroutes to build what are essentially single-source, all-destinations, shortest-path trees. These trees only sample a fraction of the network's edges, and a recent paper by Lakhina et al. found empirically that the resuting sample is intrinsically biased. For instance, the observed degree distribution under traceroute sampling exhibits a power law even when the underlying degree distribution is Poisson. In this paper, we study the bias of traceroute sampling systematically, and, for a very general class of underlying degree distributions, calculate the likely observed distributions explicitly. To do this, we use a continuous-time realization of the process of exposing the BFS tree of a random graph with a given degree distribution, calculate the expected degree distribution of the tree, and show that it is sharply concentrated. As example applications of our machinery, we show how traceroute sampling finds power-law degree distributions in both delta-regular and Poisson-distributed random graphs. Thus, our work puts the observations of Lakhina et al. on a rigorous footing, and extends them to nearly arbitrary degree distributions.

研究动机与目标

• 正式表征单源追踪路由采样在网络拓扑测量中引入的偏差。
• 理解为何追踪路由采样即使在底层网络具有泊松或规则度分布时，仍会产生幂律度分布。
• 建立一个数学框架，用于从真实底层度分布预测观测到的度分布。
• 为依赖追踪路由数据的实证互联网拓扑测量提供理论基础。

提出的方法

• 使用具有给定度分布的连续时间分支过程，对随机图中的BFS树生长过程进行建模。
• 使用生成函数表示真实度分布和观测度分布，其中g(z)表示真实分布，g^obs(z)表示观测分布。
• 通过分析BFS树随时间的暴露过程，推导出g^obs(z)的显式积分表达式。
• 通过积分BFS树中连通分量大小和已暴露节点随时间的演化，计算采样树的期望度分布。
• 使用渐近分析和特殊函数（如指数积分Ei和不完全伽马函数）来近似观测分布。
• 证明对于δ-规则图，观测度分布的幂律指数在度数达到δ之前约为1，解释了Lakhina等人观察到的实证结果。

实验结果

研究问题

• RQ1 为何追踪路由采样即使在度分布为泊松或规则的网络中，仍会产生幂律度分布？
• RQ2 在追踪路由采样下，观测度分布如何依赖于真实底层度分布？
• RQ3 是否可以使用连续时间过程定量建模并预测追踪路由采样引入的偏差？
• RQ4 采样偏差在多大程度上影响对无标度网络真实幂律指数的估计？
• RQ5 是否可能反转采样过程，从观测分布中恢复真实度分布？

主要发现

• 在δ-规则图中，即使真实度分布为均匀分布，追踪路由采样下观测到的度分布也呈现幂律分布，幂律指数约为1（度数不超过δ），
• 对于泊松分布的随机图，追踪路由采样产生幂律度分布，其指数接近1，与Lakhina等人观察到的实证结果一致。
• BFS树的期望度分布在其均值附近高度集中，验证了使用确定性生成函数进行预测的合理性。
• 观测度序列通过一个涉及指数积分和不完全伽马函数的积分变换，表示为真实生成函数的函数。
• 偏差对靠近源节点的高阶度节点最为严重，这些节点因在BFS过程中早期暴露而被过度代表。
• 从真实到观测度分布的映射关系复杂，当前工具可能难以实现可逆，因此反演问题仍为未来工作的开放课题。