[论文解读] Measuring the Importance of User-Generated Content to Search Engines

Nicholas Vincent, Isaac Johnson+2 more|arXiv (Cornell University)|Jun 20, 2019

Wikis in Education and Collaboration被引用 14

一句话总结

本文通过大规模搜索结果审计，实证测量了谷歌在六类查询中对用户生成内容（UGC）尤其是维基百科的依赖程度。研究发现，对于某些查询，维基百科在超过80%的结果中出现，是唯一最普遍的内容来源，凸显了UGC在搜索引擎表现中的关键作用，同时也引发了关于智能系统中用户补偿问题的讨论。

ABSTRACT

Search engines are some of the most popular and profitable intelligent technologies in existence. Recent research, however, has suggested that search engines may be surprisingly dependent on user-created content like Wikipedia articles to address user information needs. In this paper, we perform a rigorous audit of the extent to which Google leverages Wikipedia and other user-generated content to respond to queries. Analyzing results for six types of important queries (e.g. most popular, trending, expensive advertising), we observe that Wikipedia appears in over 80% of results pages for some query types and is by far the most prevalent individual content source across all query types. More generally, our results provide empirical information to inform a nascent but rapidly-growing debate surrounding a highly-consequential question: Do users provide enough value to intelligent technologies that they should receive more of the economic benefits from intelligent technologies?

研究动机与目标

• 调查谷歌等搜索引擎在回答用户查询时对用户生成内容（UGC）如维基百科的依赖程度。
• 评估UGC在各类高影响力查询类型（包括热门、趋势性及高广告价值查询）中的相对普遍性与影响力。
• 为关于用户生成有价值内容是否应从智能技术中获得更大经济回报的持续争论提供实证证据。
• 通过严谨的大规模审计，量化UGC在真实世界搜索表现中的作用。

提出的方法

• 本研究对谷歌搜索结果在六类不同查询类别中进行了大规模、系统性的审计，每类代表一种不同的用户信息需求类型。
• 查询选择基于其在现实世界中的重要性：最热门、趋势性、高广告价值及其他高影响力类别。
• 对每个查询，分析前100项结果，识别维基百科及其他UGC来源的存在与频率。
• 分析包括对内容来源的直接识别，以及在不同查询类型间UGC普遍性的比较。
• 研究采用受控且可复现的方法，以确保在整个数据集中来源归属的一致性与可靠性。
• 结果进行聚合与统计分析，以确定UGC（尤其是维基百科）在搜索结果页面中的总体主导地位。

实验结果

研究问题

• RQ1 谷歌在多大程度上依赖用户生成内容（如维基百科）来回答常见及高影响力查询？
• RQ2 维基百科及其他UGC来源在不同类型的查询（如趋势性或高广告价值查询）中的普遍性如何变化？
• RQ3 维基百科在谷歌搜索结果中相对于其他内容来源的主导地位如何？
• RQ4 对UGC的依赖在多大程度上支持或挑战了用户应因其对智能系统的贡献而获得更大经济补偿的观点？

主要发现

• 在至少六类查询中的一种下，维基百科出现在超过80%的搜索结果页面中，表明其在谷歌结果中的压倒性存在。
• 维基百科是所有查询类型中最具普遍性的单一内容来源，显著超过其他网站和内容提供商。
• 研究证实，用户生成内容并非仅是次要贡献者，而是谷歌搜索结果生态系统的基础组成部分。
• 结果表明，搜索引擎从UGC中获得了巨大价值，尤其是来自高质量协作平台（如维基百科）的内容。
• 研究结果为用户创造内容理应获得更大认可及潜在经济回报的观点提供了强有力的实证支持。