[论文解读] Correlation of Expert and Search Engine Rankings

Michael L. Nelson, Martin Klein+1 more|ArXiv.org|Sep 17, 2008

Web visibility and informetrics参考文献 23被引用 4

一句话总结

本研究调查了现实世界实体（如大学、电影、运动员）的专家排名是否与对应网页在搜索引擎中的排名相关。通过在9项实验中使用肯德尔等级相关系数（Kendall’s Tau）比较专家列表与Google、Live Search及Yahoo的排名，作者仅发现11个具有统计显著性的相关性——多数为弱相关或中等相关——并观察到随着列表规模增大，相关性呈下降趋势，表明现实世界中的高质量并不一定可靠地转化为网页的高权威性。

ABSTRACT

In previous research it has been shown that link-based web page metrics can be used to predict experts' assessment of quality. We are interested in a related question: do expert rankings of real-world entities correlate with search engine rankings of corresponding web resources? For example, each year US News & World Report publishes a list of (among others) top 50 graduate business schools. Does their expert ranking correlate with the search engine ranking of the URLs of those business schools? To answer this question we conducted 9 experiments using 8 expert rankings on a range of academic, athletic, financial and popular culture topics. We compared the expert rankings with the rankings in Google, Live Search (formerly MSN) and Yahoo (with list lengths of 10, 25, and 50). In 57 search engine vs. expert comparisons, only 1 strong and 4 moderate correlations were statistically significant. In 42 inter-search engine comparisons, only 2 strong and 4 moderate correlations were statistically significant. The correlations appeared to decrease with the size of the lists: the 3 strong correlations were for lists of 10, the 8 moderate correlations were for lists of 25, and no correlations were found for lists of 50.

研究动机与目标

• 确定现实世界实体（如大学、电影、运动员）的专家排名是否与对应网页在搜索引擎中的排名相关。
• 评估搜索引擎排名是否可作为现实世界资源质量专家评估的可靠代理。
• 研究列表长度和搜索引擎差异对专家排名与搜索引擎排名之间相关性的影响。
• 识别除基于超链接的指标（如PageRank）之外，可能影响网页权威性与现实世界质量关系的潜在因素。
• 为未来研究提供数字图书馆和网页爬虫系统中搜索引擎API可靠性方面的基准。

提出的方法

• 通过8份涵盖学术、体育、金融和文化主题的专家列表，构建了9项实验。
• 将每个现实世界实体映射到单一规范URL，以确保比较的一致性。
• 使用程序从Google、Live Search和Yahoo检索URL的序数排名，无需关键词查询。
• 应用肯德尔等级相关系数（τ）衡量专家排名与搜索引擎排名之间相关性的统计显著性与强度（中等相关：0.40 < τ ≤ 0.60；强相关：0.60 < τ ≤ 0.80）。
• 开展跨搜索引擎比较，以评估不同搜索引擎之间的一致性。
• 在列表长度为10、25和50的情况下评估结果，以分析列表规模对相关性的影响。

实验结果

研究问题

• RQ1 现实世界实体的专家排名与对应网页在搜索引擎中的排名之间是否存在统计显著的相关性？
• RQ2 排名列表的长度（10、25、50）如何影响专家排名与搜索引擎排名之间相关性的强度？
• RQ3 不同搜索引擎（Google、Live Search、Yahoo）在相同现实世界实体上的排名一致性如何？
• RQ4 是否存在某些类型的现实世界实体（如电影、大学、运动员）使得专家排名与搜索引擎排名更可能相关？
• RQ5 哪些因素可能解释强相关性缺失的现象，尤其是在现实世界质量广受认可的情况下？

主要发现

• 在57次专家与搜索引擎的对比中，仅有1次强相关和4次中等相关具有统计显著性。
• 在42次跨搜索引擎比较中，仅有2次强相关和4次中等相关具有统计显著性。
• 相关性随列表规模增大而下降：仅在10个实体的列表中出现3次强相关，25个实体的列表中有8次中等相关，而50个实体的列表中无任何相关性。
• Google与Money专家列表之间表现出中等负相关，提示可能存在算法或索引异常。
• Live、Google和Yahoo之间的相互相关性有限，表明其排名算法可能依赖相似的链接结构，或未能有效区分实体。
• 本研究表明，现实世界质量并不能可靠地转化为网页权威性，暗示搜索引擎排名不能被默认视为专家质量评估的反映。