[논문 리뷰] Wisdom of the Crowd or Wisdom of a Few? An Analysis of Users' Content Generation

Ricardo Baeza‐Yates, Diego Sáez-Trumper|arXiv (Cornell University)|2016. 04. 11.

Wikis in Education and Collaboration참고 문헌 19인용 수 7

한 줄 요약

이 논문은 페이스북과 트위터의 사용자 생성 콘텐츠(UGC)를 분석함으로써 '집단 지혜' 이론에 도전한다. 그 결과, 전체 콘텐츠의 50퍼센트 이상을 생산하는 사용자는 7퍼센트 미만이며, 사회적 연결망이 두드러진 고도로 활동적인 사용자들이 안정된 엘리트 소수자로 형성되어 있음을 밝혀냈다. 연구는 대부분의 콘텐츠가 시청되지 않는다는 점(디지털 사막), 그리고 고급 콘텐츠가 소수의 사용자에 의해 지배된다는 점을 드러내며, 집단 지혜가 광범위하고 독립적인 참여에서 비롯된다는 가정을 뒤집는다.

ABSTRACT

In this paper we analyze how user generated content (UGC) is created, challenging the well known {\it wisdom of crowds} concept. Although it is known that user activity in most settings follow a power law, that is, few people do a lot, while most do nothing, there are few studies that characterize well this activity. In our analysis of datasets from two different social networks, Facebook and Twitter, we find that a small percentage of active users and much less of all users represent 50\% of the UGC. We also analyze the dynamic behavior of the generation of this content to find that the set of most active users is quite stable in time. Moreover, we study the social graph, finding that those active users are highly connected among them. This implies that most of the wisdom comes from a few users, challenging the independence assumption needed to have a wisdom of crowds. We also address the content that is never seen by any people, which we call digital desert, that challenges the assumption that the content of every person should be taken in account in a collective decision. We also compare our results with Wikipedia data and we address the quality of UGC content using an Amazon dataset. At the end our results are not surprising, as the Web is a reflection of our own society, where economical or political power also is in the hands of minorities.

연구 동기 및 목표

• 소셜 네트워크에서 사용자 활동의 분포를 조사하고, 집단 지혜가 넓은 범위의 독립적 참여에서 비롯된다는 가정을 도전하기.
• ‘디지털 사막’—다른 이들이 본 적이 없는 콘텐츠의 정도를 정량화하여, 모든 기여가 집단적 결정에서 중요하다는 개념이 흔들림을 입증하기.
• 사용자 활동, 콘텐츠 품질, 사회적 연결성 간의 관계를 분석하며, 특히 가장 활동적인 사용자가 가장 영향력 있거나 고급 기여자인지 여부를 조사하기.
• 페이스북, 트위터, 위키백과, 아마존 등 다양한 플랫폼 간의 UGC 동적 패턴을 비교하여 엘리트 지배성과 콘텐츠 가시성 패턴의 일관성을 평가하기.
• 콘텐츠 품질이 사용자 활동과 관련이 있는지 평가하며, 소수의 사용자가 고급 기여를 지배하는 정도를 분석하기.

제안 방법

• 페이스북(뉴올리언스 사용자)과 트위터(대규모 마이크로블로깅)의 익명화된 데이터셋을 분석하여, 사용자 활동을 콘텐츠 생성(게시물/트윗 수) 기준으로 측정함.
• 전체 콘텐츠의 50퍼센트를 생성하는 사용자를 '활동 기반의 지혜 있는 사용자'로 정의하며, 기준 기반 분류를 통해 최상위 기여자 식별.
• 아마존의 영화 리뷰 데이터셋을 사용하여 콘텐츠 품질을 평가하며, 독자들이 '도움이 된다'고 평가한 리뷰를 기준으로 '품질 기반의 지혜 있는 사용자'를 정의함.
• 텍스트 엔트로피를 계산하여 리뷰의 정보 량을 평가하며, 샤논 엔트로피를 사용해 언어 다양성과 지혜 기여 잠재력 측정.
• 사회적 연결성을 분석하여, 최상위 활동 사용자들이 사회 네트워크에서 얼마나 유기적으로 연결되어 있는지 평가하며, 엘리트 집단의 유기성 검증.
• 스피어만 상관계수와 같은 통계적 방법을 사용해 활동, 엔트로피, 유용성 간의 관계 분석하고, 시간적 변화 분석을 통해 최상위 기여자의 안정성 평가.

실험 결과

연구 질문

• RQ1 소셜 네트워크인 페이스북과 트위터에서 전체 사용자 생성 콘텐츠의 50퍼센트 이상을 생성하는 사용자의 비율은 얼마인가?
• RQ2 가장 활동적인 사용자들이 시간이 지남에 따라 얼마나 안정적인가? 그리고 그들은 얼마나 유기적인 사회적 그룹을 형성하는가?
• RQ3 생성된 콘텐츠 중 얼마나 많은 비율이 누구의 눈에도 띄지 않으며, 이는 '집단 지혜' 모델에 어떤 함의를 갖는가?
• RQ4 콘텐츠 품질(유용성 평가 기준)은 사용자 활동과 어떻게 관련되어 있으며, 고급 콘텐츠의 대부분을 기여하는 사용자는 누구인가?
• RQ5 텍스트 엔트로피는 유용성과 얼마나 관련이 있으며, 더 높은 언어 다양성은 더 높은 지혜 기여를 예측하는가?

주요 결과

• 페이스북과 트위터 양 측면에서 전체 사용자 생성 콘텐츠의 50퍼센트 이상을 생산하는 사용자는 7퍼센트 미만이며, 트위터에서는 2퍼센트, 페이스북에서는 7퍼센트이다.
• 관찰 기간 동안 70퍼센트 이상의 가장 활동적인 사용자가 최상위 그룹에 그대로 유지되어, 엘리트 콘텐츠 기여자의 시간적 안정성이 높음을 시사한다.
• 가장 활동적인 사용자들은 상호 연결성이 매우 높아 유기적인 사회적 엘리트를 형성하며, 이는 진정한 집단 지혜가 요구하는 독립성 가정을 도전한다.
• 전체 아마존 영화 리뷰 중 약 64퍼센트는 최소한 한 명의 사용자에게서 '도움이 된다'는 평가를 받지만, 전체 유용 리뷰의 50퍼센트를 기여하는 사용자는 단 2.5퍼센트에 불과하여 품질 분포의 극도로 비대칭적임을 보여준다.
• 사용자 활동과 텍스트 엔트로피 간 상관계수는 낮게(0.32) 나타나지만, 엔트로피와 유용성 간 상관계수는 더 높아(0.43) 더 풍부한 언어가 더 높은 인지 가치와 관련이 있음을 시사한다.
• 특히 위키백과 및 비소셜적 맥락에서 많은 양의 콘텐츠가 여전히 시청되지 않으며, 이는 기여자가 보이지 않는 청중을 향해 기여하는 '디지털 사막'을 형성하며, 집단적 포함 원칙을 약화시킨다.