[论文解读] How Relevant is the Long Tail? A Relevance Assessment Study on Million Short

Philipp Schaer, Philipp Mayr+2 more|arXiv (Cornell University)|Jun 20, 2016

Information Retrieval and Search Behavior参考文献 5被引用 4

一句话总结

本研究通过在长尾搜索引擎Million Short上进行相关性评估，检验了网络搜索结果列表长尾部分的相关性。尽管头部与长尾结果在内容上存在明显差异，但在二元相关性判断中未发现显著差异；分级相关性仅表现出微弱的显著性下降，表明长尾包含具有价值且多样化的信息，值得用于结果多样化处理。

ABSTRACT

Users of web search engines are known to mostly focus on the top ranked results of the search engine result page. While many studies support this well known information seeking pattern only few studies concentrate on the question what users are missing by neglecting lower ranked results. To learn more about the relevance distributions in the so-called long tail we conducted a relevance assessment study with the Million Short long-tail web search engine. While we see a clear difference in the content between the head and the tail of the search engine result list we see no statistical significant differences in the binary relevance judgments and weak significant differences when using graded relevance. The tail contains different but still valuable results. We argue that the long tail can be a rich source for the diversification of web search engine result lists but it needs more evaluation to clearly describe the differences.

研究动机与目标

• 调查网络搜索结果的长尾部分是否包含超越头部结果的有价值且相关的信息。
• 比较长尾搜索引擎中头部（前1000个网站）与长尾（被过滤掉的网站）结果的相关性。
• 评估通过流行度过滤后的长尾结果是否在检索中提供有意义的多样性与实用性。
• 探索用户评估模式与评论类型，以揭示头部与长尾结果在感知质量上的差异。

提出的方法

• 对33名图书馆与信息科学（LIS）专业的学生开展相关性评估研究，每位学生从Million Short中不同深度的长尾部分评估最多30篇文档。
• 采用二元相关性判断（P@n, MAP@n）与分级相关性（NDCG@n）评估不同结果深度（0k（头部）、10k、1000k（长尾））的检索性能。
• 使用统计检验（Student’s t-test）评估不同结果深度间性能差异的显著性。
• 分析评估者的自由文本评论，识别出如可靠性、语言问题及内容类型不匹配等常见问题。
• 使用Kendall’s τ与不同深度结果列表之间的交集百分比，衡量内容差异。
• 采用Million Short的架构——通过Alexa数据与Bing API过滤顶级网站——以隔离并检索长尾结果。

实验结果

研究问题

• RQ1 与头部相比，搜索结果列表的长尾部分是否包含相关且有价值的信息？
• RQ2 在使用二元相关性判断时，头部与长尾结果之间是否存在统计显著差异？
• RQ3 分级相关性在头部与长尾之间有何差异？该差异是否具有统计意义？
• RQ4 哪些类型的用户反馈或评论模式可区分长尾结果与头部结果？
• RQ5 长尾结果能否被有意义地用于多样化标准搜索结果列表？

主要发现

• 在二元相关性度量（P@n, MAP@n）中，头部（0k）与长尾（1000k）之间未发现统计显著差异，p值均超过α=0.05。
• 在NDCG@5与NDCG@10中观察到轻微但弱显著性下降（p ≤ 0.1），表明分级相关性略有下降。
• Kendall’s τ与交集值显示不同结果集间排名顺序存在明显差异，表明头部与长尾的内容构成显著不同。
• 评估者仅对长尾结果（10k与1000k）报告了可靠性及结果具体性/宽泛性问题，而头部结果（0k）未出现此类问题。
• 评论分析显示，“内容类型错误”与“内容缺失”是常见问题，跨系统20%的评论提及了内容类型不匹配。
• 本研究建议，尽管长尾结果的相关性并未显著低于头部结果，但需通过更优的元数据与评估框架，才能充分释放其在搜索多样化中的潜力。