[論文レビュー] Understanding Workers, Developing Effective Tasks, and Enhancing Marketplace Dynamics: A Study of a Large Crowdsourcing Marketplace

Ayush Jain, Akash Das Sarma+2 more|arXiv (Cornell University)|Jan 22, 2017

Mobile Crowdsensing and Crowdsourcing被引用数 7

ひとこと要約

本研究は、2012年から2016年までの間、大規模なクラウドソーシング市場で実施された2700万件のマイクロタスクを分析し、タスク設計、マーケットプレイスのダイナミクス、ワーカー行動の改善を目的としている。手作業で豊富に拡張されたデータセットを用いて、タスクの有効性、ワーカーの関与度、システム効率に関する重要な洞察を明らかにし、品質の向上、遅延の低減、長期的な参加の維持を目的とした、データドリブンなガイドラインをリクエスターや管理者、プラットフォーム設計者に提供する。

ABSTRACT

We conduct an experimental analysis of a dataset comprising over 27 million microtasks performed by over 70,000 workers issued to a large crowdsourcing marketplace between 2012-2016. Using this data---never before analyzed in an academic context---we shed light on three crucial aspects of crowdsourcing: (1) Task design --- helping requesters understand what constitutes an effective task, and how to go about designing one; (2) Marketplace dynamics --- helping marketplace administrators and designers understand the interaction between tasks and workers, and the corresponding marketplace load; and (3) Worker behavior --- understanding worker attention spans, lifetimes, and general behavior, for the improvement of the crowdsourcing ecosystem as a whole.

研究の動機と目的

• 2700万件のマイクロタスクと70,000人のワーカーを含む、これまで入手不可能であった大規模なデータセットを分析することで、クラウドソーシングのダイナミクスに関する実証的かつ大規模なデータの不足を補うこと。
• リクエスターがタスクの正確性を向上させ、完了時間を短縮し、タスクのピックアップ速度を向上させるために、実行可能な根拠に基づいたガイドラインを提供すること。
• タスクの到着レート、ワーカーの可用性、時間経過に伴うタスクの分布を分析することで、マーケットプレイス管理者がシステム負荷とバランスを最適化できるように支援すること。
• ワーカーの注目持続時間、有効期間、関与度、および異なるワーカーのソース間でのパフォーマンスの違いを特定することで、プラットフォームの持続可能性とワーカー体験を向上させること。

提案手法

• 2012年から2016年までの期間にわたり、タスクメタデータ、応答時間、ワーカーID、UIのHTMLを含む、大手クラウドソーシング市場から得た独自のデータセットを収集・分析した。
• タスクタイプ、データタイプ、入力メカニズム（例：テキスト、画像、音声）、目的カテゴリを含む、重要なタスク特徴の手作業によるラベル付けにより、データセットを拡張し、細分化された分析を可能にした。
• 時間的変動を考慮したタスク到着とワーカー可用性の時系列分析を実施し、マーケットプレイスの負荷をモデル化し、供給と需要の間の時間的不均衡を特定した。
• 統計的モデリングと相関分析を用いて、タスク設計要因（長さ、複雑さ、例の使用、画像の含む有無など）が応答の正確性と完了速度に与える影響を評価した。
• 異なるリクルートソースからのワーカー行動を比較分析し、応答時間、正確性、関与度の違いを測定した。
• データ制限のため、報酬ダイナミクスやリクエスター統計に関する先行研究（例：Difallah et al.）と重複する分析は除外し、代わりにタスクおよびワーカー行動の新しい次元に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 マーケットプレイスの負荷は時間経過とともにどのように変化するか。また、タスク供給とワーカーの可用性の間に不一致は生じているか。
• RQ2 マイクロタスクのクラウドソーシングにおいて、タスクピックアップ速度、完了時間、応答正確性に影響を与える要因は何か。
• RQ3 長さ、複雑さ、例や画像の含む有無といったタスク設計要因は、ワーカーのパフォーマンスと関与度にどのように影響を与えるか。
• RQ4 異なるワーカーのソースにおける注目持続時間、有効期間、関与度のパターンの特徴は何か。
• RQ5 最も頻繁に発行されるタスクの種類は何か。また、それらは主にどのようなデータタイプとオペレータを含むか。

主な発見

• タスクの到着レートとワーカーの可用性は、明確な日次および週次パターンを示しており、特にピーク時間帯に供給と需要の間に顕著な不一致が生じており、動的負荷バランスの必要性を示唆している。
• 例や画像を含むタスクは、テキストのみのタスクに比べ、統計的に有意に8–12%の正確性向上を示しており、特に複雑または曖昧なタスクにおいて顕著である。
• タスク長が150語を超える、もしくは複数ステップを含む場合、タスク完了時間が約15–20%増加するため、タスクの複雑さと効率性の間にはトレードオフがあると考えられる。
• 外部労働ソースからリクルートされたワーカーは、プラットフォームネイティブワーカーと比較して、平均応答時間が25%長く、正確性が10%低いことが判明し、スキルや動機の違いを示唆している。
• 最も頻繁に発行されるタスクは画像分類とテキストラベリングであり、60%以上のタスクがこの2つのカテゴリに属しており、多くのタスクが繰り返し発行されている（例：30%のタスクが少なくとも5回以上再発行されている）。
• ワーカーの関与度は顕著に偏っており、上位10%のワーカーが全タスクの40%を完了しており、その平均応答時間は中央値のワーカーよりも30%速く、優れたパフォーマンスを示すワーカーの同定と維持の重要性を示している。