[論文レビュー] Links tell us about lexical and semantic Web content

Filippo Menczer|ArXiv.org|Aug 8, 2001

Complex Network Analysis Techniques参考文献 21被引用数 30

ひとこと要約

本稿は、Webハイパーリンク構造と語彙的・意味的コンテンツの間の2つの仮説を形式的かつ実証的に検証する。リンク・コンテンツ仮説（ターゲットページにリンクするページは、その語彙的コンテンツを共有する）とリンククラスタ仮説（意味的に関連するページはリンク空間においてクラスタを形成する）である。収集済みWebデータを用いてリンク距離とコサイン類似度を計算し、リンクの近接性と語彙的類似度の間には強い逆相関が存在することが示され、意味的推論は4〜5リンク以内で信頼できる。これは現代の検索エンジンの成功を説明するとともに、より知的でトピック駆動型のクローリングを可能にする。

ABSTRACT

The latest generation of Web search tools is beginning to exploit hypertext link information to improve ranking\cite{Brin98,Kleinberg98} and crawling\cite{Menczer00,Ben-Shaul99etal,Chakrabarti99} algorithms. The hidden assumption behind such approaches, a correlation between the graph structure of the Web and its content, has not been tested explicitly despite increasing research on Web topology\cite{Lawrence98,Albert99,Adamic99,Butler00}. Here I formalize and quantitatively validate two conjectures drawing connections from link information to lexical and semantic Web content. The clink-content conjecture states that a page is similar to the pages that link to it, i.e., one can infer the lexical content of a page by looking at the pages that link to it. I also show that lexical inferences based on link cues are quite heterogeneous across Web communities. The link-cluster conjecture states that pages about the same topic are clustered together, i.e., one can infer the meaning of a page by looking at its neighbours. These results explain the success of the newest search technologies and open the way for more dynamic and scalable methods to locate information in a topic or user driven way.

研究の動機と目的

• Webのリンク構造が語彙的および意味的コンテンツと相関することを形式的に検証し、リンクベースのランク付けがヒューリスティックであるという仮定に挑戦すること。
• リンクから語彙的コンテンツ（例：キーワード）をどの程度信頼性を持って推定できるかを、Webコミュニティ間の多様性を考慮して定量化すること。
• リンククラスタ仮説（意味的類似度がリンクの近接性と相関する）を、大規模なWebクロールからの実証データを用いて検証すること。
• リンクと語彙的手がかりを統合することで、動的でスケーラブルなトピック駆動型検索およびクローリングの基盤を提供すること。

提案手法

• 2つのページ間の最短パス長として、有向Webグラフ内でのリンク距離δₗを定義した。
• WebページのTF-IDF重み付き語彙ベクトル間のコサイン類似度を用いて、語彙的類似度σを計算した。
• トピック中心のクロールにおいて、各トピックqについて、深さdにおける平均リンク距離δ(q,d)と平均類似度σ(q,d)を測定した。
• 類似度および尤度要因データに指数関数的減衰モデルをフィットさせた：σ(δ) ∼ σ∞ + (1−σ∞)e⁻ᵅ¹δᵅ² および λ(δ) ∼ 1 + α₃e⁻ᵅ⁴δᵅ⁵。
• 収集済みドメインからの300点のデータを非線形最小二乗法でフィッティングし、減衰パラメータと臨界距離δ*を推定した。
• 尤度要因λ(q,d) = R_q(d)/G_qを定義し、関連するソースからリンクされた場合にページが関連する確率がどの程度高くなるかを定量化した。ここでR_q(d)は距離dにおける関連性率を表す。

実験結果

リサーチクエスチョン

• RQ1 リンク距離と語彙的類似度の間に統計的に有意な逆相関が存在するか。これはリンク・コンテンツ仮説の支持となるか。
• RQ2 リンクからの語彙的コンテンツ推定の信頼性は、異なるWebコミュニティやドメインによってどのように変化するか。
• RQ3 Webのリンクグラフにおける近接性が、どの程度意味的関連性を予測できるか。リンククラスタ仮説の妥当性を検証する。
• RQ4 意味的推論が信頼できなくなる臨界リンク距離δ*は何か。
• RQ5 リンクベースのシグナルは、現在の中央集権的メソッドよりも効率的にトピック駆動型クローラーを誘導するために使用可能か。

主な発見

• リンク・コンテンツ仮説は強く支持される：語彙的類似度σとリンク距離δₗは有意に逆相関しており、データ全体で高い統計的有意性を示す。
• リンクからの語彙的推定は距離とともに指数関数的に減少し、類似度がδ ≈ 4〜5で0.5未満に低下する。
• リンククラスタ仮説は成立する：関連性の尤度要因λ(δ)は4〜5リンク以内で急激に増加し、δ < δ*ではλ(δ) ≫ 1となる。
• リンクからの意味的推論の信頼性はドメインによって異なり、一部のコミュニティではリンク・コンテンツ相関がより強い。
• λ(δ)の指数関数的減衰フィットから、意味的推論は4〜5リンク以内で最も信頼でき、臨界距離δ* ≈ 4〜5と定義される。
• 結果からリンク構造が意味的および語彙的コンテンツを符号化していることが検証され、リンクベースの検索およびクローリングアルゴリズムの成功を説明できる。