[论文解读] Crowd Guilds: Worker-led Reputation and Feedback on Crowdsourcing Platforms

Mark E. Whiting, Dilrukshi Gamage+26 more|arXiv (Cornell University)|Nov 4, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 64被引用 41

一句话总结

本文提出了群体行会（crowd guilds）——由工人主导的集体组织，通过双盲同行评估机制，在众包平台上生成准确、基于声誉的资质信号。在为期两周的实地实验中，群体行会产生的声誉信号与真实工人质量的相关性显著高于传统去中心化模型，证明了通过工人自我组织实现更公平的薪酬分配与平台治理的可行性路径。

ABSTRACT

Crowd workers are distributed and decentralized. While decentralization is designed to utilize independent judgment to promote high-quality results, it paradoxically undercuts behaviors and institutions that are critical to high-quality work. Reputation is one central example: crowdsourcing systems depend on reputation scores from decentralized workers and requesters, but these scores are notoriously inflated and uninformative. In this paper, we draw inspiration from historical worker guilds (e.g., in the silk trade) to design and implement crowd guilds: centralized groups of crowd workers who collectively certify each other's quality through double-blind peer assessment. A two-week field experiment compared crowd guilds to a traditional decentralized crowd work model. Crowd guilds produced reputation signals more strongly correlated with ground-truth worker quality than signals available on current crowd working platforms, and more accurate than in the traditional model.

研究动机与目标

• 解决去中心化众包中的悖论，即工人自主性削弱了声誉系统等关键质量制度。
• 降低类似亚马逊机械 Turk 等平台上现有声誉评分的通货膨胀与噪声。
• 赋予众包工人自我治理的资质认证、反馈与集体行动机制。
• 评估工人主导的声誉系统是否能比去中心化、由请求者驱动的反馈产生更准确的质量信号。
• 探索同行评估与社区论坛如何促进分布式工人的技能发展、导师指导与社会支持。

提出的方法

• 工人被组织成一个全平台范围的单一行会，持续对任务提交内容进行双盲同行评估。
• 每个提交内容由多名行会成员评审，他们根据标准化评分表评定质量并提供建设性反馈。
• 同行评估得分被汇总，用于将工人分配至行会等级（如一级、二级），这些等级在平台上作为声誉信号。
• 行会等级被用于在发布任务时推荐更高薪酬等级的工人。
• 专用论坛支持行会成员之间的持续沟通、导师指导与集体决策。
• 该系统在开源的 Daemo 平台上实现，以支持机械 Turk 等现有平台不具备的功能。

实验结果

研究问题

• RQ1 工人主导的、经同行评估的声誉系统是否能比传统去中心化声誉系统产生更准确的质量信号？
• RQ2 双盲同行评估如何影响众包中声誉评分的可靠性与信息量？
• RQ3 群体行会在多大程度上提升了工人动机、反馈质量与社群凝聚力？
• RQ4 自我组织的工人集体能否有效自我治理，并影响平台层面的薪酬与任务质量等结果？
• RQ5 结构化反馈与分级认证在技能发展与长期工人参与中发挥何种作用？

主要发现

• 群体行会生成的声誉信号与真实工人质量的相关性显著高于传统去中心化模型。
• 双盲同行评估过程相比标准请求者反馈，产生了更具信息量且更少虚高的声誉评分。
• 行会条件下的工人表现出更高效、更具建设性的反馈，表明反馈文化得到改善。
• 行会模式促成了一个稳定、由社区驱动的资质体系，可用于推荐更高薪酬。
• 工人报告了更强的社会联系感与归属感，且多次请求在论坛中增加实时在线状态指示功能。
• 实验表明，去中心化的工人能够自我组织成高效、可扩展的集体，从而提升平台的公平性与质量。