[論文レビュー] CrowdHub: Extending crowdsourcing platforms for the controlled evaluation of tasks designs

Jorge Ramírez, Simone Degiacomi+4 more|arXiv (Cornell University)|Sep 6, 2019

Mobile Crowdsensing and Crowdsourcing参考文献 12被引用数 4

ひとこと要約

CrowdHubは、Figure Eight や Toloka などのクラウドソーシングプラットフォームを拡張し、作業者の資格、人種的背景、実行タイミングを管理することで、タスク設計の評価を制御的・体系的に行えるツールです。自動ワークフロー、資格制御、時間サンプリングにより、実験的バイアスを低減し、研究者がデータの有用性と信頼性を向上させます。特に、制御されていない環境では最大38％のデータ損失が生じる可能性があることが実証されています。

ABSTRACT

We present CrowdHub, a tool for running systematic evaluations of task designs on top of crowdsourcing platforms. The goal is to support the evaluation process, avoiding potential experimental biases that, according to our empirical studies, can amount to 38% loss in the utility of the collected dataset in uncontrolled settings. Using CrowdHub, researchers can map their experimental design and automate the complex process of managing task execution over time while controlling for returning workers and crowd demographics, thus reducing bias, increasing utility of collected data, and making more efficient use of a limited pool of subjects.

研究の動機と目的

• 再発生する作業者、条件のクロスオーバー、タイムゾーン、デモグラフィックの不均衡によって引き起こされるクラウドソーシングタスク設計評価における実験的バイアスを是正すること。
• 制御された作業者集団と実行スケジューリングを用いて、複数のタスク設計を体系的かつ繰り返し可能な方法で比較すること。
• 作業者の行動やプラットフォームの制限によるバイアスから生じる、未制御評価によるデータの有用性損失（最大38％）を低減すること。
• 研究者が既存のクラウドソーシングプラットフォーム上で、複雑な複数設定のタスク実験を自動でデプロイおよび管理できるツールを提供すること。
• 作業者へのアクセスとタスクの順序付けを正確に制御できる、被験者間および被験者内両方の実験設計を可能にすること。

提案手法

• CrowdHubは、Figure Eight や Toloka などの主要なクラウドソーシングプラットフォームの公開APIおよびJavaScript拡張機能を介して統合され、作業者の識別およびメトリクス収集が可能になります。
• ワークフローエディタを用いてタスクの順序、データフロー、実験群の割り当てを定義し、順次的および並列実行の両方をサポートします。
• 資格制御ポリシーを実装することで、条件のクロスオーバーを防止し、再び参加する作業者の管理を行い、クリーンな実験群を確保します。
• 人種的背景（例：国、信頼度）ごとのクォータを割り当てることで、特定のデモグラフィックが優勢になるのを防ぐことにより、集団管理が可能になります。
• 時間サンプリングにより、複数の時間帯にわたりタスク実行をスケジューリングし、時間帯やプラットフォームの活動状況に起因する交絡要因を低減します。
• システムは実験ワークフローを解析し、ターゲットプラットフォームに、関連するデータユニット、指示、ゴールドスタンダードを含む個々のタスクを自動でデプロイします。

実験結果

リサーチクエスチョン

• RQ1 作業者の再参加がタスク設計評価にどの程度バイアスをもたらし、意思決定時間と正確性にどのような影響を与えるか？
• RQ2 作業者が複数のタスク条件を経験する（クロスオーバー）場合、パフォーマンスとタスク支援機能への信頼にどのような影響があるか？
• RQ3 時間帯やタイムゾーンの違いが、同じタスク条件を繰り返し実行した際の作業者パフォーマンスの一貫性にどのように影響するか？
• RQ4 作業者集団におけるデモグラフィックの不均衡（例：国による優勢）が、タスク設計比較の妥当性にどの程度損なうか？
• RQ5 制御された実験フレームワークは、未制御のクラウドソーシング評価と比較して、データの有用性損失をどの程度低減できるか？

主な発見

• 未制御評価において再発生する作業者がデータセットの38％を占めており、意思決定時間が短縮されたが、正確性に顕著な向上は認められず、パフォーマンス向上なしに学習効果が発生している可能性を示している。
• 特に劣悪な強調支援から良好な支援に移行した条件クロスオーバーを経験した作業者は意思決定時間が延長されたが、これは支援機能への信頼性の低下による認知バイアスの可能性がある。
• 同じ条件を繰り返し実行した際のパフォーマンスのばらつき（例：14秒から24秒まで）は、未制御環境下で時間帯やプラットフォーム活動状況が比較を交絡させる要因であることを示している。
• 貢献度が最も高い国（ベネズエラ、エジプト、ウクライナ）が合計の48.1％の判断を提供しており、未制御実験では結果に歪みをもたらす強いデモグラフィックの不均衡が生じていることが示された。
• 本研究では、未制御評価が実験的バイアスのため、最大38％のデータセットの有用性損失を引き起こす可能性があることが判明し、制御されたフレームワークの必要性が強調された。
• CrowdHubは資格制御、集団クォータ、時間サンプリングにより、これらのバイアスを効果的に低減し、より信頼性が高く効率的なタスク設計評価を可能にした。