[論文レビュー] Sequential Voting Promotes Collective Discovery in Social Recommendation Systems

L. Elisa Celis, P. M. Krafft+1 more|arXiv (Cornell University)|Mar 14, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 21被引用数 12

ひとこと要約

本研究は、社会的推薦システムにおける順次投票が、高品質な教育的コンテンツの集団的発見を改善するかどうかを調査する。アマゾン・メカニカル・トゥーカーを用いたシミュレートされたMOOCを通じて、順次投票は独立投票や専門家による選別よりも自覚的な学習の向上を顕著に示した。これは、学習成果を客観的指標として用いる場合、社会的影響がコンテンツランク付けを向上させ得ることを示唆する。

ABSTRACT

One goal of online social recommendation systems is to harness the wisdom of crowds in order to identify high quality content. Yet the sequential voting mechanisms that are commonly used by these systems are at odds with existing theoretical and empirical literature on optimal aggregation. This literature suggests that sequential voting will promote herding---the tendency for individuals to copy the decisions of others around them---and hence lead to suboptimal content recommendation. Is there a problem with our practice, or a problem with our theory? Previous attempts at answering this question have been limited by a lack of objective measurements of content quality. Quality is typically defined endogenously as the popularity of content in absence of social influence. The flaw of this metric is its presupposition that the preferences of the crowd are aligned with underlying quality. Domains in which content quality can be defined exogenously and measured objectively are thus needed in order to better assess the design choices of social recommendation systems. In this work, we look to the domain of education, where content quality can be measured via how well students are able to learn from the material presented to them. Through a behavioral experiment involving a simulated massive open online course (MOOC) run on Amazon Mechanical Turk, we show that sequential voting systems can surface better content than systems that elicit independent votes.

研究の動機と目的

• 社会的推薦システムにおける順次投票が、独立投票や専門家による選別よりも優れたコンテンツ発見をもたらすかどうかを評価すること。
• 学習成果に基づく客観的指標を用いて、社会的影響が集団知性に果たす役割を評価すること。
• 順次投票メカニズムが、高品質な教育的教材を特定する点で専門家による選別を上回る可能性があるかどうかを調査すること。
• 順次投票における集団的行動（ヒーディング行動）が、学習成果の向上にどの程度寄与しているかを検討すること。

提案手法

• アマゾン・メカニカル・トゥーカーを用いて、参加者が相互に説明を生成するMOOCフォーラムを模擬した行動実験を実施した。
• 自覚的な学習と消費後のテストスコアという2つの外生的指標を用いて、コンテンツの質を測定した。
• 3つの投票条件を比較した：順次投票（他の投票の可視性あり）、独立投票（過去の投票が非表示）、専門家による選別。
• ヒーディング行動の代理指標として、票の分配の不平等度をジニ係数で測定した。
• 専門家による採点に基づいて説明を選別し、高品質なコンテンツをベンチマークとして確保した。
• 異なる条件における学習成果の差を分析し、社会的影響がコンテンツ発見に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 社会的推薦システムにおいて、順次投票は独立投票よりも優れたコンテンツ発見をもたらすか？
• RQ2 順次投票は、専門家による選別を上回り、高品質な教育的教材を特定できるか？
• RQ3 投票の不平等度（ヒーディング行動の証拠）が、順次投票における学習成果の向上にどの程度寄与しているか？
• RQ4 異なる投票メカニズム下で、自覚的な学習とテストスコアはコンテンツの質とどの程度相関しているか？
• RQ5 社会的影響が、独立投票や専門家選別を超えて学習を向上させるメカニズムが存在するか？

主な発見

• 自覚的な学習は、順次投票条件下で独立投票および専門家による選別よりも有意に高い水準にあった。
• 平均テストスコアは順次条件下で一貫して高く、ただし統計的有意差には至らなかった。
• ジニ係数は、順次条件下で票の分配に不平等が生じており、ヒーディング行動の存在を示唆した。
• 自覚的な学習の観点から、順次投票条件下は専門家による選別を上回った。これは、集団による発見の優位性を示唆する。
• 本研究では、ヒーディング行動が改善された成果の主因であるとの明確な証拠は得られなかったが、特に高品質な説明が少ないコースでは顕著であった。
• 結果から、順次投票が一部の文脈において専門家による選別を上回るコンテンツ発見を可能にする可能性があり、コンテンツ選別の分野における専門家の優位性という仮定に疑問を呈するものである。