[論文レビュー] Wisdom of the Crowd or Wisdom of a Few? An Analysis of Users' Content Generation

Ricardo Baeza‐Yates, Diego Sáez-Trumper|arXiv (Cornell University)|Apr 11, 2016

Wikis in Education and Collaboration参考文献 19被引用数 7

ひとこと要約

本稿は、Facebook や Twitter のユーザ生成コンテンツ（UGC）を分析することで、『群衆の知恵』の概念に挑戦している。その結果、全コンテンツの半数以上を生み出しているのは7%未塔のユーザーにとどまり、社会的にもつながりの深い活発なユーザーが安定したエリート少数派を形成していることが判明した。研究では、大多数のコンテンツが誰にも見られない（『デジタル・デザート』と呼ばれる）こと、また高品質なコンテンツは極めて少数のユーザーによって生み出されていることから、集団的知恵が広範かつ独立した参加に基づくものであるという仮定が揺るがされている。

ABSTRACT

In this paper we analyze how user generated content (UGC) is created, challenging the well known {\it wisdom of crowds} concept. Although it is known that user activity in most settings follow a power law, that is, few people do a lot, while most do nothing, there are few studies that characterize well this activity. In our analysis of datasets from two different social networks, Facebook and Twitter, we find that a small percentage of active users and much less of all users represent 50\% of the UGC. We also analyze the dynamic behavior of the generation of this content to find that the set of most active users is quite stable in time. Moreover, we study the social graph, finding that those active users are highly connected among them. This implies that most of the wisdom comes from a few users, challenging the independence assumption needed to have a wisdom of crowds. We also address the content that is never seen by any people, which we call digital desert, that challenges the assumption that the content of every person should be taken in account in a collective decision. We also compare our results with Wikipedia data and we address the quality of UGC content using an Amazon dataset. At the end our results are not surprising, as the Web is a reflection of our own society, where economical or political power also is in the hands of minorities.

研究の動機と目的

• ソーシャルネットワークにおけるユーザー活動の分布を調査し、集団的知恵が広範かつ独立した参加に基づいて生じるとする仮定に疑問を呈すること。
• 『デジタル・デザート』——他の誰にも見られないコンテンツ——の程度を定量化し、すべての貢献が集団的意思決定において意味を持つという考えがどのように揺るがされるかを明らかにすること。
• ユーザー活動、コンテンツ品質、社会的つながりの関係を検討し、特に最も活発なユーザーが、影響力や高品質な貢献者であるかどうかを評価すること。
• Facebook、Twitter、Wikipedia、Amazon といった複数のプラットフォームにおける UGC 動態を比較し、エリート支配とコンテンツ可視性のパターンが一貫しているかどうかを評価すること。
• コンテンツの品質がユーザー活動と相関しているかどうか、および少数のグループが高品質な貢献を支配しているかどうかを評価すること。

提案手法

• Facebook（ニューオーリンズのユーザー）および Twitter（大規模なマイクロブログ）の匿名化されたデータセットを分析し、ユーザー活動をコンテンツ生成（投稿／ツイート数）の観点から測定した。
• 活動基準による知的ユーザー（'activity-based-wise' users）を、全コンテンツの50％を生成するユーザーとして定義し、閾値ベースの分類手法を用いて上位貢献者を同定した。
• Amazon の映画レビュー・データセットを用いてコンテンツ品質を評価し、読者がレビューを『役立った』と評価した数を基準に、『品質基準による知的ユーザー』（'quality-based-wise' users）を、全『役立った』レビューの50％を生み出すユーザーと定義した。
• 各ユーザーごとのテキストエントロピーを計算し、レビューの情報豊かさ（言語的多様性）と知恵貢献の可能性を測定するため、シャノンエントロピーを用いた。
• 社会的つながりを、ソーシャルグラフにおける上位活発ユーザーの凝集性を分析することで測定し、彼らが密接に接続されたエリート集団を形成しているかどうかを評価した。
• スピアマン相関を用いて活動、エントロピー、役立性の関係を分析し、時系列解析を用いて上位貢献者の安定性を時間的経過で評価した。

実験結果

リサーチクエスチョン

• RQ1 Facebook や Twitter などのソーシャルネットワークで、全ユーザー生成コンテンツの半数以上を生み出しているユーザーの割合はどの程度か？
• RQ2 最も活発なユーザーは時間経過でどの程度安定しているのか。また、彼らは一貫した社会的グループを形成しているか？
• RQ3 生成されたコンテンツのどの程度が、誰にも見られないのか。これは『群衆の知恵』モデルにどのような含意をもたらすか？
• RQ4 役立性評価で測定したコンテンツ品質は、ユーザー活動とどの程度相関しているのか。また、高品質なコンテンツの大部分を生み出しているのはどのユーザーか？
• RQ5 テキストエントロピーと役立性の相関はどの程度か。より高い言語的多様性は、より高い知恵貢献を予測するのか？

主な発見

• Facebook および Twitter の両方で、全ユーザー生成コンテンツの50％以上を生み出しているのは7％未満のユーザーであり、Twitter では2％、Facebook では7％であった。
• 観察期間中に70％を超える最も活発なユーザーが、常に上位グループに留まっていたことから、エリートコンテンツ作成者の時間的安定性が確認された。
• 最も活発なユーザーは強く相互接続されており、凝集した社会的エリートを形成しており、真の『群衆の知恵』に必要な独立性の仮定に反する。
• 全 Amazon 映画レビューの約64％が、少なくとも1人のユーザーから『役立った』と評価されたが、そのうち50％を生み出しているのはユーザーのたった2.5％にとどまり、品質の分布が極めて偏っていることが示された。
• ユーザー活動とテキストエントロピーの相関は低かった（0.32）が、エントロピーと役立性の相関は高かった（0.43）ことから、より豊かな言語表現が、より高い評価価値と関連していることが示唆された。
• 特に Wikipedia や非ソーシャルな文脈では、コンテンツの大部分が誰にも見られず、『デジタル・デザート』と呼ばれる状態に陥っている。ここでは貢献は無視される対象に向けられているため、集団的包摂の原則が揺るがされている。