[論文レビュー] Decoding the structure of the WWW: facts versus sampling biases

M. Ángeles Serrano, Ana Gabriela Maguitman+3 more|ArXiv.org|Nov 8, 2005

Web visibility and informetrics参考文献 32被引用数 6

ひとこと要約

本稿は、4つの大規模で異なるソースのWWWクロールデータセットを分析することで、Webグラフ測定におけるサンプリングバイアスを調査する。相互リンク（ページ間の双方向ハイパーリンク）が、構造的相関を明らかにし、クローラー由来のアーティファクトと真正のWeb組織を区別する重要なトポロジカル特徴であることが特定された。また、相互リンク統計がWebグラフにおける意味のあるトポロジカル情報の大部分を占めることを示した。

ABSTRACT

The understanding of the immense and intricate topological structure of the World Wide Web (WWW) is a major scientific and technological challenge. This has been tackled recently by characterizing the properties of its representative graphs in which vertices and directed edges are identified with web-pages and hyperlinks, respectively. Data gathered in large scale crawls have been analyzed by several groups resulting in a general picture of the WWW that encompasses many of the complex properties typical of rapidly evolving networks. In this paper, we report a detailed statistical analysis of the topological properties of four different WWW graphs obtained with different crawlers. We find that, despite the very large size of the samples, the statistical measures characterizing these graphs differ quantitatively, and in some cases qualitatively, depending on the domain analyzed and the crawl used for gathering the data. This spurs the issue of the presence of sampling biases and structural differences of Web crawls that might induce properties not representative of the actual global underlying graph. In order to provide a more accurate characterization of the Web graph and identify observables which are clearly discriminating with respect to the sampling process, we study the behavior of degree-degree correlation functions and the statistics of reciprocal connections. The latter appears to enclose the relevant correlations of the WWW graph and carry most of the topological information of theWeb. The analysis of this quantity is also of major interest in relation to the navigability and searchability of the Web.

研究の動機と目的

• 異なるクローリング戦略がWebグラフの測定されたトポロジカル特性に与える影響を評価すること。
• 多様なデータサンプルにわたって一貫性を示す構造的特徴と、サンプリングバイアスに起因するアーティファクトを特定すること。
• 特に相互リンク構造のような統計的指標が、標準的な次数分布よりも真のWebトポロジーをより信頼性高く特徴づけるかどうかを特定すること。
• 相互リンクがWebのナビゲーション可能性と検索可能性に果たす役割を評価すること。

提案手法

• 異なるドメインと期間に跨る4つの大規模かつ独立してクロールされたWWWグラフの比較的統計的分析。
• イン-degreeおよびアウト-degree分布、次数-次数相関、クラスタリング係数の検討。
• 相互リンクサブグラフを無向グラフとして扱い、局所的接続性をクラスタリング係数 $ c_j $ および平均近隣次数 $ \overline{q}_{r,nn}(q_r) $ を用いて分析することに焦点を当てる。
• 相互サブグラフ内の近傍の相互接続性を評価するため、クラスタリング係数 $ \overline{c}(q_r) $ を用いる。
• 次数依存クラスタリングおよび近隣次数の分析により、クライクやスターレイク構造のような構造的パターンを検出する。
• 複数のクロールデータセット間でのクロスバリデーションにより、サンプリングアーティファクトとは対照的に、持続的である構造的特徴を区別する。

実験結果

リサーチクエスチョン

• RQ1 異なるWebクロールが、Webグラフのトポロジカル測定において、定量的および定性的にどの程度異なる結果をもたらすか？
• RQ2 多様なクロールデータセットにわたって一貫性を示すトポロジカル観測量は何か？ 一方で、サンプリングバイアスに感受しやすいものは何か？
• RQ3 相互リンクは、Webグラフ全体の構造と相関パターンにどのように寄与しているか？
• RQ4 相互リンクサブグラフは、真のWebトポロジーの背後にある構造を信頼性高く推定するための代替指標として機能できるか？
• RQ5 相互リンクは、Webのナビゲーション可能性と検索可能性を決定づける役割を果たしているか？

主な発見

• 相互リンクサブグラフは、クロールの出どころに関係なく一定で高いクラスタリング係数 $ \overline{c}(q_r) $ を示しており、高密度に接続されたコミュニティやスターレイク構造がコアな構造を形成していることを示している。
• 4つのデータセットすべてにおいて、相互リンクサブグラフの平均近隣次数 $ \overline{q}_{r,nn}(q_r) $ およびクラスタリング係数 $ \overline{c}(q_r) $ に一貫したパターンが観察され、これはWebの真正の構造的特徴を示している。
• 非相互リンクの次数-次数相関は、クロールごとに顕著に異なるため、標準的な次数ベースの測定はサンプリングバイアスに極めて感受しやすいことが示された。
• 相互リンク統計が、Webグラフ内での関連構造の大部分を占める、最も情報量の多いトポロジカル観測量である。
• 特にクラスターおよびスターレイクのハブを形成する高密度かつ相互接続されたサブグラフの存在は、Webナビゲーションとリンク障害に対するレジリエンスの機能的役割を示唆している。
• 大規模データでさえも、観測されたWebグラフのトポロジカル特性はクローラー設計の影響を強く受けており、先行研究における普遍性の主張を揺るがすものである。