[論文レビュー] Ecosystem: A Characteristic Of Crowdsourced Environments

Anamika Chhabra, S. R. S. Iyengar+3 more|arXiv (Cornell University)|Feb 24, 2015

Wikis in Education and Collaboration参考文献 18被引用数 6

ひとこと要約

本論文では、成功したクラウドソーシング知識プラットフォームの根本的特徴として、専門性に特化した貢献者（プローブラー、ソルバー、アーティキュレーター、エクスプローラー）から成る多様なエコシステムが提案されている。独自のクラウドソーシングアノテーションシステム（CAS）を用いた実験およびウィキペディアとスタックオーバーフローの分析を通じて、これらの専門的役割間の協働的相互作用が、知識の迅速な構築を生み出すことを実証している。全4つの役割に参加しているユーザーはわずか0.1%にとどまり、プラットフォーム成功に不可欠な、極めて専門性の高い貢献者エコシステムが存在することが示された。

ABSTRACT

The phenomenal success of certain crowdsourced online platforms, such as Wikipedia, is accredited to their ability to tap the crowd's potential to collaboratively build knowledge. While it is well known that the crowd's collective wisdom surpasses the cumulative individual expertise, little is understood on the dynamics of knowledge building in a crowdsourced environment. A proper understanding of the dynamics of knowledge building in a crowdsourced environment would enable one in the better designing of such environments to solicit knowledge from the crowd. Our experiment on crowdsourced systems based on annotations shows that an important reason for the rapid knowledge building in such environments is due to variance in expertise. First, we used as our test bed, a customized Crowdsourced Annotation System (CAS) which provides a group of users the facility to annotate a given document while trying to understand it. Our results showed the presence of different genres of proficiency amongst the users of an annotation system. We observed that the ecosystem in crowdsourced annotation system comprised of mainly four categories of contributors, namely: Probers, Solvers, Articulators and Explorers. We inferred from our experiment that the knowledge garnering mainly happens due to the synergetic interaction across these categories. Further, we conducted an analysis on the dataset of Wikipedia and Stack Overflow and noticed the ecosystem presence in these portals as well. From this study, we claim that the ecosystem is a universal characteristic of all crowdsourced portals.

研究の動機と目的

• クラウドソーシング環境における知識構築のダイナミクス、特に貢献者専門性のばらつきが果たす役割を理解すること。
• 行動パターンに基づいて、クラウドソーシングアノテーションシステム内の明確な貢献者タイプを同定および分類すること。
• 制御されたアノテーション環境で観察された貢献者エコシステムが、ウィキペディアやスタックオーバーフローのような大規模で現実世界のプラットフォームにも同様に存在するかを調査すること。
• 専門性に特化した貢献者の分布と相互作用が、クラウドソーシングプラットフォームにおける集団的知識創出をどのように促進するかを検討すること。
• 貢献者カテゴリとその役割を同定することで、将来的なクラウドソーシングプラットフォームの設計に有用な示唆を提供すること。

提案手法

• 共同文書アノテーションの過程でリアルタイムのユーザー相互作用を観察できる、独自のクラウドソーシングアノテーションシステム（CAS）の開発。
• ユーザー行動を4つの明確なカテゴリに分類：プローブラー（質問を投げかける）、ソルバー（回答を提供する）、アーティキュレーター（洞察を表明する）、エクスプローラー（外部リソースを共有する）。
• Venn図とクロスカテゴリ重複度を用いた統計的分析により、専門性とマルチロール行動の度合いを定量化。
• ウィキペディアおよびスタックオーバーフローの公開データセットに同じ分類フレームワークを適用し、実世界プラットフォームにおけるエコシステムの存在を検証。
• 2つ、3つ、または全4つの役割に参加するユーザーの割合といった定量的指標を用いて、専門性の度合いを評価。
• 将来的な研究では、時間的バイアスを低減し、貢献者カテゴリを精緻化するために、縦断的データ収集と分析を計画している。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングアノテーション環境における貢献者の明確な行動的役割は何か。また、それらは知識構築にどのように寄与するか。
• RQ2 クラウドソーシングシステムにおいて、専門性が多様な役割に分散されている程度は、マルチスペシャリストの個人に集中している程度と比べてどの程度か。
• RQ3 制御されたアノテーションシステムで観察された専門的貢献者エコシステムは、ウィキペディアやスタックオーバーフローのような大規模で現実世界のプラットフォームにも同様に存在するか。
• RQ4 異なる貢献者タイプ間の相互作用が、クラウドソーシング環境における知識の迅速な蓄積と精錬をどのように促進するか。
• RQ5 貢献者エコシステムを理解することで、将来的なクラウドソーシングプラットフォームの改善に役立つ設計的示唆は何か。

主な発見

• クラウドソーシングアノテーションシステム（CAS）は、知識構築に独自に貢献する4つの主要な貢献者タイプ、すなわちプローブラー、ソルバー、アーティキュレーター、エクスプローラーを明らかにした。
• 全4つの役割に参加しているユーザーはわずか0.1%にとどまり、貢献者間の極めて高い専門性の度合いが示された。
• 平均して3.72%のユーザーが2つの役割に参加しており、3つの役割に参加しているユーザーは0.65%であった。これは、単一役割の専門性が支配的であることをさらに裏付けた。
• 専門的貢献者エコシステムはウィキペディアおよびスタックオーバーフローでも観察された。これは、成功したクラウドソーシングプラットフォームに共通する普遍的特徴である可能性を示唆している。
• これらの4つのカテゴリ間の協働的相互作用が、共同作業環境における知識構築の迅速化を牽引する重要な要因であると特定された。
• 本研究は、貢献者専門性の不適切な混合が、知識収集ポータルの失敗を招く可能性があると示唆しており、バランスの取れた貢献者多様性の重要性を強調している。