[论文解读] Ecosystem: A Characteristic Of Crowdsourced Environments

Anamika Chhabra, S. R. S. Iyengar+3 more|arXiv (Cornell University)|Feb 24, 2015

Wikis in Education and Collaboration参考文献 18被引用 6

一句话总结

本文提出，多样化且专业化的贡献者生态体系——包括探查者（Probers）、求解者（Solvers）、表达者（Articulators）和探索者（Explorers）——是成功众包知识平台的根本特征。通过在自研众包标注系统（CAS）上的实验以及对维基百科和Stack Overflow的分析，作者证明了这些专家类别之间的协同互动促成了快速的知识构建，仅有0.1%的用户同时参与全部四种角色，表明该高度专业化的贡献者生态系统对平台成功至关重要。

ABSTRACT

The phenomenal success of certain crowdsourced online platforms, such as Wikipedia, is accredited to their ability to tap the crowd's potential to collaboratively build knowledge. While it is well known that the crowd's collective wisdom surpasses the cumulative individual expertise, little is understood on the dynamics of knowledge building in a crowdsourced environment. A proper understanding of the dynamics of knowledge building in a crowdsourced environment would enable one in the better designing of such environments to solicit knowledge from the crowd. Our experiment on crowdsourced systems based on annotations shows that an important reason for the rapid knowledge building in such environments is due to variance in expertise. First, we used as our test bed, a customized Crowdsourced Annotation System (CAS) which provides a group of users the facility to annotate a given document while trying to understand it. Our results showed the presence of different genres of proficiency amongst the users of an annotation system. We observed that the ecosystem in crowdsourced annotation system comprised of mainly four categories of contributors, namely: Probers, Solvers, Articulators and Explorers. We inferred from our experiment that the knowledge garnering mainly happens due to the synergetic interaction across these categories. Further, we conducted an analysis on the dataset of Wikipedia and Stack Overflow and noticed the ecosystem presence in these portals as well. From this study, we claim that the ecosystem is a universal characteristic of all crowdsourced portals.

研究动机与目标

• 理解众包环境中知识构建的动态机制，特别是贡献者专业能力差异的作用。
• 基于其行为模式，识别并分类众包标注系统中的不同贡献者类型。
• 探究在受控标注环境中观察到的贡献者生态系统是否同样存在于维基百科和Stack Overflow等大规模真实平台中。
• 研究专业化贡献者的分布与互动如何催化众包平台中的集体知识创造。
• 通过识别关键贡献者类别及其角色，为未来众包平台的设计提供启示。

提出的方法

• 开发自研众包标注系统（CAS），以观察用户在协作文档标注过程中的实时互动。
• 将用户行为划分为四类：探查者（提出问题）、求解者（提供答案）、表达者（表达见解）和探索者（分享外部资源）。
• 使用韦恩图和跨类别重叠度量指标，对用户在各类别中的参与情况进行统计分析，以量化专业化程度与多角色行为。
• 将相同的分类框架应用于维基百科和Stack Overflow的公开数据集，以验证真实世界平台中该生态系统的存在。
• 使用百分比等定量指标，评估用户参与两个、三个或全部四个角色的比例，以衡量专业化的程度。
• 未来工作计划进行纵向数据收集与分析，以减少时间依赖性偏差，并进一步优化贡献者类别。

实验结果

研究问题

• RQ1 在众包标注环境中，贡献者的不同行为角色是什么？它们如何促进知识构建？
• RQ2 在众包系统中，专业知识在专业化角色之间的分布程度如何？是否更倾向于集中在具备多重专长的个体身上？
• RQ3 在受控标注系统中观察到的专业化贡献者生态系统，是否同样存在于维基百科和Stack Overflow等大规模真实平台中？
• RQ4 不同贡献者类型之间的互动如何推动众包环境中知识的快速积累与优化？
• RQ5 通过理解贡献者生态体系，可以为改进未来众包平台设计提供哪些启示？

主要发现

• 众包标注系统（CAS）揭示了四种主要贡献者类型：探查者、求解者、表达者和探索者，每类均以独特方式促进知识构建。
• 仅有0.1%的用户参与了全部四个角色，表明贡献者具有高度专业化特征。
• 平均而言，3.72%的用户参与了两个角色，0.65%参与了三个角色，进一步证实了单一角色专业化占主导地位。
• 在维基百科和Stack Overflow中也观察到了专业化贡献者生态系统，表明这是成功众包平台的普遍特征。
• 这四类角色之间的协同互动被识别为推动协作环境中快速知识构建的关键驱动力。
• 本研究指出，若贡献者专业能力组合不当，可能导致知识收集门户的失败，凸显了平衡的贡献者多样性的重要性。