[論文レビュー] A Glimpse Far into the Future: Understanding Long-term Crowd Worker Quality

Kenji Hata, Ranjay Krishna+2 more|arXiv (Cornell University)|Sep 15, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 54被引用数 23

ひとこと要約

本研究では、アマゾン・メカニカル・トゥーカーから900万件以上のアノテーションを用いて、長期的なマイクロタスク・クラウドソーシングの品質を分析した。作業者は、タスクの閾値に関係なく、数週間から数か月にわたり一貫した正確性と速度を維持している。作業者の最初の5つのタスクの成績は、長期的な品質をわずか3.4％の平均誤差で予測可能であり、疲労や満足度の低下という仮定に疑問を呈する。

ABSTRACT

Microtask crowdsourcing is increasingly critical to the creation of extremely large datasets. As a result, crowd workers spend weeks or months repeating the exact same tasks, making it necessary to understand their behavior over these long periods of time. We utilize three large, longitudinal datasets of nine million annotations collected from Amazon Mechanical Turk to examine claims that workers fatigue or satisfice over these long periods, producing lower quality work. We find that, contrary to these claims, workers are extremely stable in their quality over the entire period. To understand whether workers set their quality based on the task's requirements for acceptance, we then perform an experiment where we vary the required quality for a large crowdsourcing task. Workers did not adjust their quality based on the acceptance threshold: workers who were above the threshold continued working at their usual quality level, and workers below the threshold self-selected themselves out of the task. Capitalizing on this consistency, we demonstrate that it is possible to predict workers' long-term quality using just a glimpse of their quality on the first five tasks.

研究の動機と目的

• 長期間にわたり繰り返しタスクに従事する中で、作業者が疲労や満足度の低下によってパフォーマンスが低下するかどうかを調査すること。
• 作業者がタスク受入閾値やその透明性に基づいて品質を調整するかどうかを検討すること。
• 作業者の初期段階でのパフォーマンスが、長期的な作業者品質を信頼性を持って予測できるかどうかを特定すること。
• 一貫した作業者パフォーマンスの影響が、大規模なクラウドソーシングワークフローおよび品質管理戦略の設計に与えるインパクトを評価すること。

提案手法

• アマゾン・メカニカル・トゥーカーから得た3つの大規模な縦断的データセットを分析し、画像説明、質問応答、および二値検証タスクの合計で900万件以上のアノテーションをカバーした。
• 作業者の正確性、作業速度、応答の多様性を時間経過とともに追跡し、パフォーマンスの低下または向上の傾向を検出する。
• 受入閾値とその透明性を変化させた制御実験を実施し、作業者の戦略的行動を観察した。
• 長期的な作業者品質の予測モデルとして、最初の5つのタスクの正確性の単純平均を使用した。
• 予測された品質（最初の5つのタスクに基づく）と、作業者が提出したタスクの最終10％における実際の品質を比較して、予測の正確性を評価した。
• 作業者やタスクタイプごとの一貫性を評価する統計的分析を実施し、パフォーマンス指標の安定性に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 長期間にわたるマイクロタスク作業において、疲労や認知的負荷のため作業者のパフォーマンスが低下するか？
• RQ2 作業者がタスクの受入閾値やその透明性に応じて、品質を戦略的に調整するか？
• RQ3 作業者が最初の数回のタスクで示すパフォーマンスが、長期的な同じタスクにおける品質を信頼性を持って予測できるか？
• RQ4 作業者の一貫性が、大規模なクラウドソーシングにおける品質管理メカニズムの設計にどのように影響するか？

主な発見

• 作業者は、繰り返しのタスク作業を数週間から数か月にわたり行う中で、極めて安定した正確性を維持しており、顕著なパフォーマンスの低下は認められない。
• 作業者は、高いまたは低い受入閾値に対して品質を調整しない。代わりに、低品質の作業者は高い閾値のタスクから自発的に除外される。
• 作業者の最初の5つのタスクの正確性のみを用いて長期的な品質を予測する際の平均誤差は3.4％である。
• 作業者のスピードは経験に伴い向上するが、正確性は一定のまま維持されるため、時間経過による正確性とスピードのトレードオフは見られない。
• 作業者の一貫性は、受入閾値の操作などのプロセス中心のアプローチよりも、初期の成績に基づくスクリーニングなどの人間中心の品質管理戦略の有効性を支持する。
• 本研究の発見は、主にデータラベル付けのマイクロタスクに限定されており、より複雑または創造的なタスクへの一般化は難しい。