[論文レビュー] Crowd Guilds: Worker-led Reputation and Feedback on Crowdsourcing Platforms

Mark E. Whiting, Dilrukshi Gamage+26 more|arXiv (Cornell University)|Nov 4, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 64被引用数 41

ひとこと要約

この論文は、クラウド・ギルド—作業者が主導する団体で、二重盲検の同僚評価を用いてクラウドソーシング・プラットフォーム上で正確でレピュテーションに基づく資格信号を生成する仕組みを紹介する。2週間の現地実験において、クラウド・ギルドは従来の分散型モデルよりも、作業者の真の品質と著しく相関の強いレピュテーション信号を生成した。これは、作業者による自己組織化を通じて、より公正な報酬と改善されたプラットフォームガバナンスを実現するための実現可能な道筋を示している。

ABSTRACT

Crowd workers are distributed and decentralized. While decentralization is designed to utilize independent judgment to promote high-quality results, it paradoxically undercuts behaviors and institutions that are critical to high-quality work. Reputation is one central example: crowdsourcing systems depend on reputation scores from decentralized workers and requesters, but these scores are notoriously inflated and uninformative. In this paper, we draw inspiration from historical worker guilds (e.g., in the silk trade) to design and implement crowd guilds: centralized groups of crowd workers who collectively certify each other's quality through double-blind peer assessment. A two-week field experiment compared crowd guilds to a traditional decentralized crowd work model. Crowd guilds produced reputation signals more strongly correlated with ground-truth worker quality than signals available on current crowd working platforms, and more accurate than in the traditional model.

研究の動機と目的

• 分散型クラウドソーシングにおける矛盾、すなわち作業者の自律性がレピュテーション制度のような必須の品質制度を損なうという問題に取り組む。
• Amazon Mechanical Turkのようなプラットフォームにおける既存のレピュテーションスコアのインフレーションとノイズを低減する。
• 資格認定、フィードバック、集団的行動のための自己統治メカニズムを、クラウド作業者に与える。
• 作業者主導のレピュテーション制度が、分散型でリクルーター主導のフィードバックよりも、より正確な品質信号を生成できるかどうかを評価する。
• 同僚評価とコミュニティフォーラムが、分散型の作業者間でスキルの習得、メンターシップ、社会的支援を促進する仕組みとして果たす役割を探る。

提案手法

• 作業者がプラットフォーム全体にまたがる1つのギルドに編成され、継続的な二重盲検の同僚評価を通じてタスク提出物を評価する。
• 各提出物は複数のギルドメンバーがレビューし、品質を評価し、標準化された基準に従って建設的なフィードバックを提供する。
• 同僚評価スコアが集約され、作業者をギルドレベル（例：レベル1、レベル2）に分類し、それがプラットフォーム上でのレピュテーション信号として機能する。
• ギルドレベルは、タスクが公開される際、高レベルの作業者に対して高い報酬率を推奨するために使用される。
• 専用のフォーラムにより、ギルドメンバー間での継続的なコミュニケーション、メンターシップ、集団的意思決定が可能になる。
• Mechanical Turkのような既存のプラットフォームにない機能をサポートするため、オープンソースのDaemoプラットフォームにシステムを実装した。

実験結果

リサーチクエスチョン

• RQ1 作業者主導で同僚評価を行うレピュテーション制度は、従来の分散型レピュテーション制度よりも、より正確な品質信号を生成できるか？
• RQ2 二重盲検の同僚評価は、クラウドソーシングにおけるレピュテーションスコアの信頼性と情報量にどのように影響するか？
• RQ3 クラウド・ギルドは、作業者のモチベーション、フィードバックの質、コミュニティの結束をどの程度向上させるか？
• RQ4 自己組織化された作業者団体は、報酬やタスク品質といったプラットフォームレベルの成果に、効果的に影響を与えることができるか？
• RQ5 構造化されたフィードバックと段階的資格認定は、スキルの習得と長期的な作業者参加にどのような役割を果たすか？

主な発見

• クラウド・ギルドは、従来の分散型モデルよりも、真の作業者品質と著しく強く相関するレピュテーション信号を生成した。
• 二重盲検の同僚評価プロセスにより、標準のリクルーターからのフィードバックと比較して、より情報量が多く、インフレーションが少ないレピュテーションスコアが得られた。
• ギルド参加の作業者は、より効率的かつ建設的なフィードバックを提供しており、フィードバック文化の向上が示された。
• ギルドモデルにより、安定的でコミュニティ主導の資格制度が構築され、より高い報酬率を推奨する目的で利用可能になった。
• 作業者たちは、より強い社会的つながりや帰属意識を報告しており、フォーラムでのリアルタイムの存在インジケータの要望も出た。
• 実験により、分散型の作業者が自己組織化し、効果的でスケーラブルな団体を形成でき、プラットフォームの公平性と品質を向上させられることを示した。