[論文レビュー] On the Bias of Traceroute Sampling; or, Power-law Degree Distributions in Regular Graphs

Dimitris Achlioptas, Aaron Clauset+2 more|arXiv (Cornell University)|Mar 4, 2005

Complex Network Analysis Techniques参考文献 20被引用数 34

ひとこと要約

この論文は、ネットワークトポロジー測定におけるtracerouteサンプリングが引き起こすバイアスを厳密に分析し、正規分布やポisson分布に従うランダムグラフですら、このようなサンプリング下ではパワー則的次数分布に見えることを示している。連続時間の分岐過程モデルを用いて、BFS木で観測される正確な期待次数分布を導出し、tracerouteサンプリングが次数分布を体系的に歪め、特にソースに近い高次ノードを好むことを証明している。

ABSTRACT

Understanding the structure of the Internet graph is a crucial step for building accurate network models and designing efficient algorithms for Internet applications. Yet, obtaining its graph structure is a surprisingly difficult task, as edges cannot be explicitly queried. Instead, empirical studies rely on traceroutes to build what are essentially single-source, all-destinations, shortest-path trees. These trees only sample a fraction of the network's edges, and a recent paper by Lakhina et al. found empirically that the resuting sample is intrinsically biased. For instance, the observed degree distribution under traceroute sampling exhibits a power law even when the underlying degree distribution is Poisson. In this paper, we study the bias of traceroute sampling systematically, and, for a very general class of underlying degree distributions, calculate the likely observed distributions explicitly. To do this, we use a continuous-time realization of the process of exposing the BFS tree of a random graph with a given degree distribution, calculate the expected degree distribution of the tree, and show that it is sharply concentrated. As example applications of our machinery, we show how traceroute sampling finds power-law degree distributions in both delta-regular and Poisson-distributed random graphs. Thus, our work puts the observations of Lakhina et al. on a rigorous footing, and extends them to nearly arbitrary degree distributions.

研究の動機と目的

• 単一ソースからのtracerouteサンプリングがネットワークトポロジー測定に及ぼすバイアスを形式的に特徴づけること。
• 真のネットワークがポアソン分布または正規分布の次数分布を示す場合でも、tracerouteサンプリングがなぜパワー則的次数分布を生じるのかを理解すること。
• 真の次数分布から観測次数分布を予測する数学的フレームワークを構築すること。
• tracerouteデータに依存する実世界のインターネットトポロジー測定の解釈のための理論的基盤を提供すること。

提案手法

• 与えられた次数分布をもつランダムグラフにおけるBFS木の成長を、連続時間の分岐過程としてモデル化する。
• 真の次数分布と観測次数分布をそれぞれ生成関数 g(z) と g^obs(z) で表す。
• BFS木の露出プロセスを時間経過で分析し、g^obs(z) の明示的な積分表現を導出する。
• 成分サイズと露出ノード数の時間発展を統合することで、サンプル木の期待次数分布を計算する。
• 漸近的解析と特殊関数（例：指数積分 Ei および不完全ガンマ関数）を用いて、観測分布の近似を行う。
• δ-正則グラフの場合、観測次数分布がδまでの次数で指数がおおよそ1のパワー則に従うことを示し、Lakhinaたちはの実験的発見を説明している。

実験結果

リサーチクエスチョン

• RQ1 なぜtracerouteサンプリングは、真の次数分布がポアソン分布または正規分布であるネットワークに対してもパワー則的次数分布を生じるのか？
• RQ2 tracerouteサンプリング下で、観測次数分布が真の次数分布にどのように依存するのか？
• RQ3 連続時間プロセスを用いて、tracerouteサンプリングが引き起こすバイアスを定量的にモデル化・予測できるか？
• RQ4 サンプリングバイアスは、スケールフリー・ネットワークにおける真のパワー則指数の推定にどの程度影響を及ぼすか？
• RQ5 観測された次数分布から真の次数分布を回復するために、サンプリングプロセスを逆転させることは可能か？

主な発見

• δ-正則グラフでは、真の次数分布が一様であるのにもかかわらず、tracerouteサンプリング下での観測次数分布は、δまでの次数で指数がおおよそ1のパワー則に従う。
• ポアソン分布に従うランダムグラフに対しても、tracerouteサンプリングは指数が1に近いパワー則的次数分布を生じる。これはLakhinaたちはの実験的観察を確認している。
• BFS木の期待次数分布はその平均のまわりに鋭く集中しており、予測に決定論的生成関数を用いることが妥当であることを裏付けている。
• 観測次数列は、指数積分および不完全ガンマ関数を含む積分変換を通じて、真の生成関数の関数として導出される。
• バイアスは、BFSプロセスの初期段階で露出するため、ソースに近い高次ノードに対して最も顕著であり、サンプルに過剰に含まれる。
• 真の次数分布から観測次数分布への写像は複雑であり、現時点のツールではおそらく逆写像が不可能であり、逆転は今後の研究の未解決問題のまま残っている。