[論文レビュー] Correlation of Expert and Search Engine Rankings

Michael L. Nelson, Martin Klein+1 more|ArXiv.org|Sep 17, 2008

Web visibility and informetrics参考文献 23被引用数 4

ひとこと要約

本研究では、実世界の実体（例：大学、映画、アスリートなど）の専門家による順位付けが、それらに対応するWebページの検索エンジン順位と相関するかどうかを調査している。9つの実験において、専門家リストとGoogle、Live Search、Yahooの順位をケンダールのタウ（τ）を用いて比較した結果、有意な相関はわずか11件にとどまり、多くが弱いまたは中程度の相関であった。また、リストのサイズが大きくなるにつれて相関が低下する傾向が観察された。これは、実世界での高品質な実体が、必ずしも高いWebページの権威に直結するわけではないことを示唆している。

ABSTRACT

In previous research it has been shown that link-based web page metrics can be used to predict experts' assessment of quality. We are interested in a related question: do expert rankings of real-world entities correlate with search engine rankings of corresponding web resources? For example, each year US News & World Report publishes a list of (among others) top 50 graduate business schools. Does their expert ranking correlate with the search engine ranking of the URLs of those business schools? To answer this question we conducted 9 experiments using 8 expert rankings on a range of academic, athletic, financial and popular culture topics. We compared the expert rankings with the rankings in Google, Live Search (formerly MSN) and Yahoo (with list lengths of 10, 25, and 50). In 57 search engine vs. expert comparisons, only 1 strong and 4 moderate correlations were statistically significant. In 42 inter-search engine comparisons, only 2 strong and 4 moderate correlations were statistically significant. The correlations appeared to decrease with the size of the lists: the 3 strong correlations were for lists of 10, the 8 moderate correlations were for lists of 25, and no correlations were found for lists of 50.

研究の動機と目的

• 実世界の実体（例：大学、映画、アスリートなど）の専門家による順位付けが、それらに対応するWebページの検索エンジン順位と相関するかどうかを特定すること。
• 検索エンジン順位が、実世界のリソースの品質に関する専門家評価の信頼できる代理指標として機能するかどうかを評価すること。
• リストの長さや検索エンジンの違いが、専門家順位と検索エンジン順位の相関に与える影響を調査すること。
• ハイパーリンクに基づくメトリクス（例：PageRankなど）以外の要因が、実世界の品質と関連してWebページの権威にどのように影響するかを特定すること。
• デジタル図書館やWebクローリングシステムにおける検索エンジンAPIの信頼性に関する今後の研究の基盤を提供すること。

提案手法

• 学術的・スポーツ的・金融的・文化的なトピックを対象に、8つの専門家リストを用いて9つの実験を構築した。
• 一貫した比較を可能にするために、各実世界の実体を1つの標準的URLにマッピングした。
• キーワード検索を用いずに、プログラムを用いてGoogle、Live Search、YahooのURL順位を順序付きで取得した。
• 専門家順位と検索エンジン順位の相関の統計的有意性と強さ（中程度：0.40 < τ ≤ 0.60；強：0.60 < τ ≤ 0.80）を測定するために、ケンダールのタウ（τ）を適用した。
• 検索エンジン間の比較を実施し、複数の検索エンジン間での一貫性を評価した。
• リスト長が10、25、50の各条件下で結果を評価し、リストサイズが相関に与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 実世界の実体の専門家による順位付けと、それらに対応するWebページの検索エンジン順位との間に、統計的に有意な相関が存在するか？
• RQ2 順位付けリストの長さ（10、25、50）が、専門家順位と検索エンジン順位の相関の強さにどのように影響するか？
• RQ3 異なる検索エンジン（Google、Live Search、Yahoo）が、同じ実世界の実体に対して一貫した順位付けを提供するか？
• RQ4 特定の種類の実世界の実体（例：映画、大学、アスリートなど）では、専門家順位と検索エンジン順位の相関がより高くなる傾向があるか？
• RQ5 実世界での品質が広く認識されているにもかかわらず、強い相関が見られない要因は何か？

主な発見

• 57件の専門家対検索エンジン比較のうち、有意な相関は強いつながりが1件、中程度のもの4件にとどまった。
• 42件の検索エンジン間比較のうち、有意な相関は強いつながりが2件、中程度のもの4件にとどまった。
• リストサイズが大きくなるにつれて相関が低下した：リストサイズ10の場合は3件の強いつながり、25の場合は8件の中程度の相関、50の場合は相関なし。
• Googleは「Money」専門家リストに対して中程度の負の相関を示した。これは、アルゴリズム的またはインデクシングの異常を示唆している可能性がある。
• Live、Google、Yahooの間で相互相関が限定的であったため、これらの検索エンジンの順位付けアルゴリズムが類似したリンク構造に依存しているか、効果的に差をつけることができていない可能性がある。
• 本研究では、実世界での品質が、必ずしも高いWebページの権威に反映されないことが示唆された。これは、検索エンジン順位が、専門家による品質評価を反映していると仮定できないことを示している。