[論文レビュー] Scatter Networks: A New Approach for Analyzing Information Scatter on the Web

Lada A. Adamic, Suresh K. Bhavnani+1 more|ArXiv.org|Nov 26, 2006

Complex Network Analysis Techniques参考文献 32被引用数 4

ひとこと要約

本稿では、ウェブページと事実（情報の断片）を結ぶ二部グラフモデルであるスキャッターネットワークを導入し、情報がウェブ上にどのように分散しているかを分析する。クラスタリング、中心性、耐性テストといったネットワーク解析手法を適用することで、事実が強くクラスタリングされていること、レアな事実はしばしば専門的なページに隠されていること、そしてブリッジドキュメントが包括的な情報発見において極めて重要であることが明らかになった。これにより、より包括的な情報取得を支援する検索エンジン設計のための新たな知見が得られた。

ABSTRACT

Information on any given topic is often scattered across the web. Previously this scatter has been characterized through the distribution of a set of facts (i.e. pieces of information) across web pages, showing that typically a few pages contain many facts on the topic, while many pages contain just a few. While such approaches have revealed important scatter phenomena, they are lossy in that they conceal how specific facts (e.g. rare facts) occur in specific types of pages (e.g. fact-rich pages). To reveal such regularities, we construct bi-partite networks, consisting of two types of vertices: the facts contained in webpages and the webpages themselves. Such a representation enables the application of a series of network analysis techniques, revealing structural features such as connectivity, robustness, and clustering. We discuss the implications of each of these features to the users' ability to find comprehensive information online. Finally, we compare the bipartite graph structure of webpages and facts with the hyperlink structure between the webpages.

研究の動機と目的

• ウェブページ上での情報の構造的分散を、単なる頻度分布を超えて理解する空白を埋めるため。
• 事実の共起をモデル化するネットワークベースのフレームワークを構築し、情報分布における隠れた構造的パターンを解明するため。
• クラスタリング、中心性、耐性といったネットワーク特性が、ユーザーが包括的な情報をオンラインで発見する能力に与える影響を評価するため。
• スキャッターネットワークの構造的特性を従来のハイパーリンクネットワークと比較し、情報へのアクセス可能性に与える影響を評価するため。
• ネットワーク構造を活用することで、包括的かつ包括的な情報取得を重視する将来の検索エンジンの設計を支援するため。

提案手法

• ウェブページとそれらに含まれる事実（情報の断片）の2種類のノードを含む二部グラフを構築する。
• コミュニティ検出（例：モジュラリティに基づくアルゴリズム）を含むネットワーク解析手法を適用し、共起する事実のクラスタを同定する。
• バターンス中心性を用いて、異なるトピッククラスタを接続する重要なドキュメントおよび事実を特定する。
• 高中心性ノードを繰り返し削除することで耐性分析を実施し、ネットワークの接続性が破壊に与える影響を評価する。
• アソートラティビティを測定し、事実が豊富なページが一般的な事実か希少な事実を含むかを判断する。
• スキャッターネットワークの構造と下位のハイパーリンク構造を比較し、情報発見におけるナビゲーション効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 事実の共起とクラスタリングの観点から、ウェブページ上での事実の分布はどのように特徴づけられるか？
• RQ2 情報空間における異なるトピッククラスタを接続する役割を果たすウェブページと事実はどれか？
• RQ3 重要なページを削除することで、情報への接続性と包括性にどのような影響が生じるか？
• RQ4 アソートラティビティやクラスタリングといったネットワーク特性が、包括的かつ包括的な情報発見のしやすさをどれほど予測できるか？
• RQ5 スキャッターネットワークの構造は、ハイパーリンクネットワークと比較して、ユーザーのナビゲーションおよび事実発見をどの程度効果的に支援するか？

主な発見

• メラノーマに関する事実は、トピック固有のサブグループに強くクラスタリングされており、コミュニティ検出アルゴリズムが専門家が定義したトピックと密接に一致するクラスタを効果的に同定した。
• 少数の高バターンス中心性を持つドキュメントおよび事実は、トピッククラスタ間を接続する重要なブリッジとして機能し、情報へのアクセス性を顕著に向上させた。
• 耐性分析の結果、中心的なドキュメントのわずかな削除ですらネットワークの接続性を著しく損なうことが判明し、情報ネットワークの脆弱性が示された。
• アソートラティビティ分析の結果、事実が豊富なページは希少な事実を多く含む傾向があることが明らかになり、ユーザーをこうしたページに誘導することで、冗長性を避けつつ包括的な情報を得られることが示唆された。
• スキャッターネットワークの構造は、ウィキペディアの集中型ページ構造がすべての事実への迅速なアクセスを可能にしている一方で、melanoma.comの分散型構造でもハイパーリンクの走査によって包括的な発見が可能であることを明らかにした。
• スキャッターハイパーリンクネットワークは、事実カバレッジとナビゲーションガイダンスを統合することで、包括的かつ包括的な検索を重視する将来の検索エンジン設計にとって優れた表現を提供する。