[논문 리뷰] Measuring the Importance of User-Generated Content to Search Engines

Nicholas Vincent, Isaac Johnson외 2명|arXiv (Cornell University)|2019. 06. 20.

Wikis in Education and Collaboration인용 수 14

한 줄 요약

이 논문은 네 가지 질문 유형에 걸쳐 구글이 사용자 생성 콘텐츠(UGC), 특히 위키백과에 얼마나 의존하는지 실증적으로 측정한다. 대규모 검색 결과 감사 분석을 통해 특정 질문에 대해 80퍼센트 이상의 결과에 위키백과가 나타나며, 이는 가장 일반적인 단일 콘텐츠 소스임을 보여주며, 검색 엔진 성능에서 UGC의 핵심적 역할을 부각하고 지능형 시스템에서 사용자 보상 문제를 제기한다.

ABSTRACT

Search engines are some of the most popular and profitable intelligent technologies in existence. Recent research, however, has suggested that search engines may be surprisingly dependent on user-created content like Wikipedia articles to address user information needs. In this paper, we perform a rigorous audit of the extent to which Google leverages Wikipedia and other user-generated content to respond to queries. Analyzing results for six types of important queries (e.g. most popular, trending, expensive advertising), we observe that Wikipedia appears in over 80% of results pages for some query types and is by far the most prevalent individual content source across all query types. More generally, our results provide empirical information to inform a nascent but rapidly-growing debate surrounding a highly-consequential question: Do users provide enough value to intelligent technologies that they should receive more of the economic benefits from intelligent technologies?

연구 동기 및 목표

• 검색 엔진이 위키백과와 같은 사용자 생성 콘텐츠(UGC)를 얼마나 광범위하게 사용하여 사용자 질문에 응답하는지 조사하는 것.
• 인기, 트렌드, 광고 가치가 높은 등 다양한 영향력 있는 질문 유형에서 UGC의 상대적 퍼지기와 영향력을 평가하는 것.
• 사용자가 유용한 콘텐츠를 생성하는 데 기여함으로써 지능형 기술에서 더 큰 경제적 혜택을 받아야 하는지에 대한 논의에 실증적 증거를 제공하는 것.
• 실제 검색 성능에서 UGC의 역할을 정량화하기 위해 구글 검색 결과에 대한 철저하고 대규모 감사 작업을 수행하는 것.

제안 방법

• 이 연구는 사용자 정보 필요 유형을 반영하는 여섯 가지 다른 질문 유형 카테고리에 걸쳐, 대규모로 체계적인 검색 결과 감사를 수행한다.
• 질문은 실제 영향력 있는 기준에 따라 선정된다: 가장 인기 있는, 트렌드인, 광고 비용이 높은, 기타 영향력 있는 카테고리.
• 각 질문에 대해 상위 100개 결과를 분석하여 위키백과 및 기타 UGC 소스의 존재 여부와 빈도를 확인한다.
• 분석에는 콘텐츠 소스의 직접 식별과 질문 유형 간 UGC 퍼지기 비교가 포함된다.
• 데이터셋 전반에 걸쳐 소스 기여도 기준의 일관성과 신뢰성을 확보하기 위해 통제되고 재현 가능한 방법론을 사용한다.
• 결과는 집계되고 통계적으로 분석되어, UGC, 특히 위키백과의 전체적인 지배적 위치를 파악한다.

실험 결과

연구 질문

• RQ1 구글은 일반적이고 영향력 있는 질문에 대해 위키백과와 같은 사용자 생성 콘텐츠에 얼마나 의존하는가?
• RQ2 트렌드이거나 광고 가치가 높은 질문과 같은 다양한 유형의 질문에서 위키백과 및 기타 UGC 소스의 퍼지기는 어떻게 달라지는가?
• RQ3 구글 검색 결과에서 위키백과가 다른 콘텐츠 소스보다 상대적으로 얼마나 지배적인가?
• RQ4 UGC에 대한 의존도는 지능형 시스템에 기여한 사용자들이 더 큰 경제적 보상을 받아야 한다는 주장을 지지하거나 도전하는가?

주요 결과

• 연구에서 다룬 여섯 질문 유형 중 최소 한 유형에 대해 위키백과가 80퍼센트 이상의 검색 결과 페이지에 등장하여, 그가 검색 결과에서 압도적인 존재감을 보임을 입증한다.
• 모든 질문 유형에서 위키백과가 가장 퍼진 단일 콘텐츠 소스이며, 다른 웹사이트 및 콘텐츠 제공자들을 크게 앞서고 있다.
• 연구는 사용자 생성 콘텐츠가 단순한 보조 기여자가 아니라, 구글의 검색 결과 생태계의 기초가 되고 있음을 확인한다.
• 결과는 검색 엔진이 위키백과와 같은 고품질 협업 플랫폼에서 상당한 가치를 얻고 있음을 시사하며, 지능형 시스템에서 콘텐츠를 생성하는 사용자들이 더 큰 인정과 잠재적 경제적 혜택을 받아야 한다는 주장을 강력히 뒷받침한다.