[論文レビュー] Prototype Tasks: Improving Crowdsourcing Results through Rapid, Iterative Task Design

Snehalkumar S. Gaikwad, Nalin Chhibber+27 more|arXiv (Cornell University)|Jul 18, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 30被引用数 5

ひとこと要約

本論文は、新規タスクの設計の明確化を目的としたクラウドソーシング戦略「プロトタイプタスク」を紹介する。この戦略では、リクエスターがタスクを本格公開する前に、小規模でフィードバックを活用した反復的改善を実施する。フィールド実験の結果、プロトタイプタスクにより、作業者からの初期フィードバックに基づき指示、例示、例外ケースの改善が可能となり、結果の品質が著しく向上した。これは、リクエスターによるタスク設計の質がタスク成果に直接的な影響を及えることを示している。

ABSTRACT

Low-quality results have been a long-standing problem on microtask crowdsourcing platforms, driving away requesters and justifying low wages for workers. To date, workers have been blamed for low-quality results: they are said to make as little effort as possible, do not pay attention to detail, and lack expertise. In this paper, we hypothesize that requesters may also be responsible for low-quality work: they launch unclear task designs that confuse even earnest workers, under-specify edge cases, and neglect to include examples. We introduce prototype tasks, a crowdsourcing strategy requiring all new task designs to launch a small number of sample tasks. Workers attempt these tasks and leave feedback, enabling the re- quester to iterate on the design before publishing it. We report a field experiment in which tasks that underwent prototype task iteration produced higher-quality work results than the original task designs. With this research, we suggest that a simple and rapid iteration cycle can improve crowd work, and we provide empirical evidence that requester "quality" directly impacts result quality.

研究の動機と目的

• Amazon Mechanical Turkのようなマイクロタスク型クラウドソーシングプラットフォームにおける、低品質な結果が続く問題に取り組む。
• 作業者による低品質な出力の原因を「作業者に起因する」とする一般的な見方を覆し、代わりにリクエスターのタスク設計を根本的要因として調査する。
• 初期の作業者フィードバックを活用した反復的タスク設計が、タスクの品質と結果の正確性を向上させることを調査する。
• 本格的展開の前に行うタスク設計の改善を支援する実用的で低コストの戦略（プロトタイプタスク）を開発・評価する。
• リクエスターのタスク設計の質が、作業者の努力や専門性とは別に、クラウドワークの品質に直接的な影響を及えることを実証する。

提案手法

• 新規タスクを本格公開する前に、3〜7人の作業者で小規模な試行を実施する『プロトタイプタスク』を導入する。
• プロトタイプタスクの下部にフィードバックフォーム（例：「私は～が好きです」「私は～がほしいです」「もし～ならどうでしょう」）を統合し、説明の明確さ、指示、使いやすさに関する質的入力を得る。
• リクエスターが少量の入力（例：1〜2つのURL、1本の動画）をサンプリングし、小規模な作業者グループに提示してフィードバックと例示出力を収集する。
• 得られたフィードバックとサンプル結果を基に、タスクの指示、例示、インターフェース設計を段階的に改善し、最終的な展開に備える。
• 人間-コンピュータインタラクションやユーザ中心設計の原則をタスク作成に適用し、視点の共有とマインドセットの一致を重視する。
• Daemoクラウドソーシングプラットフォーム内にプロトタイプタスクシステムを実装し、リクエスターが書面でのフィードバックと提出済み結果の両方を revisions 時に参照できるようにする。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプタスクを用いた反復的タスク設計は、非反復的タスク設計に比べ、より高い品質の結果をもたらすか？
• RQ2 作業者からのフィードバックと初期テストは、タスク設計における曖昧さ、例外ケース、不明瞭な指示をどの程度特定・是正できるか？
• RQ3 リクエスターのタスク設計の質が、クラウドソーシングプラットフォームにおける最終出力品質にどの程度影響を及えるか？
• RQ4 大規模な再設計やプラットフォーム変更を要せず、軽量で迅速な反復プロセスがタスク成果を著しく改善できるか？
• RQ5 作業者からのどの種類のフィードバックが、タスク設計の改善を最も効果的に導くか？

主な発見

• プロトタイプタスクの反復を経験したタスクは、元のタスク設計に比べ、後続の正確性と一貫性の観点から著しく高い品質の結果を生み出した。
• プロトタイプタスクにより、リクエスターは直接的な作業者フィードバックを通じて、曖昧な指示、不明瞭な例示、見過ごされた例外ケースを特定・是正できた。
• フィードバックプロセスから、タスクが概念的に単純であっても、説明の明確さに欠けると作業者がタスクの目的を誤解することが明らかになった。
• プロトタイプタスクを活用したリクエスターは、タスク設計に対する自信が高まり、本番公開後の作業者提出物の却下率も低下した。
• 反復的プロセスにより、タスクの明確さと使いやすさが明確に向上したことが、質的フィードバックと定量的結果品質指標の両方で裏付けられた。
• 本研究は、リクエスターのタスク設計の質が、作業者の努力や専門性とは別に、クラウドワークの品質を決定づける重要な要因であることを、実証的根拠で示している。