[論文レビュー] MmmTurkey: A Crowdsourcing Framework for Deploying Tasks and Recording Worker Behavior on Amazon Mechanical Turk

Brandon Dang, Miles Hutson+1 more|arXiv (Cornell University)|Sep 4, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 9被引用数 8

ひとこと要約

MmmTurkey は、カスタマイズ可能なフロントエンド監査者を介して、研究者が Amazon Mechanical Turk 上で外部 HIT を簡単にデプロイできるオープンソースの Django ベースのフレームワークであり、作業者の行動データをネイティブに詳細に記録する。マウスの動き、クリック、タブのフォーカス変更などのインタラクションを捉えることで、作業者の行動を研究し、標準的な応答収集を超えたデータ品質を向上させるためのモジュラーで拡張可能なプラットフォームを提供する。

ABSTRACT

Internal HITs on Mechanical Turk can be programmatically restrictive, and as a result, many requesters turn to using external HITs as a more flexible alternative. However, creating such HITs can be redundant and time-consuming. We present MmmTurkey, a framework that enables researchers to not only quickly create and manage external HITs, but more significantly also capture and record detailed worker behavioral data characterizing how each worker completes a given task.

研究の動機と目的

• 内部 HIT の制限を克服し、外部 HIT の柔軟なデプロイを可能にする。
• 研究者がタスク完了中に詳細なフロントエンド作業者インタラクションデータ（例：クリック、マウスの動き）を収集できるツールを提供する。
• カスタムタスク設計および行動ログ記録を可能にする、モジュラーなコンponents（例：ステップや監査者）の開発と再利用を支援する。
• 開発の負荷を軽減するため、再利用可能で拡張性があり、オープンソースのプラットフォームを提供する。
• 作業者の行動トレースを分析することで、データ品質の評価や詐欺検出を向上させ、高品質と低品質のパフォーマンスを区別する。

提案手法

• フレームワークは Django で構築されており、ブラウザベースの管理ダッシュボードを通じて外部 HIT を作成・管理できる。
• タスクは、複数選択やテキスト入力などのモジュラーな「ステップ」と、クリックトラッカー や滞在時間モニターなどの「監査者」から構成され、ユーザーのインタラクションをリアルタイムで記録する。
• 監査者は JavaScript および jQuery で実装され、マウスの動き、キーボード入力、タブ切り替えなどのイベントをキャプチャし、バックエンドのデータベースに保存される。
• システムは、作業者による応答と監査者ログを含む、すべての収集データを構造化された XML 形式でエクスポートする。
• 基本的な Python および JavaScript の知識があれば、フレームワークのフックを拡張することで、カスタムステップや監査者を追加可能で、コード量を最小限に抑えられる。
• 管理、データベース、エクスポートのロジックを抽象化することで、新しいコンponents の再利用と保守負荷の低減が可能になる。

実験結果

リサーチクエスチョン

• RQ1 研究者がデータ整合性を保ちながら、Amazon Mechanical Turk 上で外部 HIT を効率的にデプロイ・管理する方法は何か？
• RQ2 タスク完了中に収集可能な作業者行動データの種類は何か？ これによりデータ品質の評価がどのように向上するか？
• RQ3 フロントエンドインタラクションログ（例：クリック、滞在時間）は、高品質と低品質の作業者パフォーマンスをどの程度区別できるか？
• RQ4 モジュラーでオープンソースのフレームワークは、行動インストルメント化されたタスクを作成する研究者の開発負荷をどの程度軽減できるか？
• RQ5 他の研究者が、多様な行動分析ニーズに対応するために、監査者を効果的に再利用・拡張できるか？

主な発見

• MmmTurkey はブラウザベースのダッシュボードを通じて完全な管理制御を提供し、外部 HIT のデプロイを簡素化することで、セットアップの複雑さを低減する。
• フレームワークは、カスタマイズ可能な監査者を介して、総クリック数、マウスの動きのパターン、タブのフォーカス変更などの詳細な行動トレースを効果的に収集できる。
• エクスポートされたデータは、作業者による応答と監査者ログを含む構造化された XML 形式で提供され、後続の分析に適している。
• モジュラーなアーキテクチャにより、最小限のコードでカスタムステップや監査者を生成・統合でき、拡張性が向上する。
• MmmTurkey は、外部 HIT 管理と包括的なフロントエンド行動ログ記録機能を両方備えた、我々が知る限り最初のオープンソースフレームワークである。
• ゴールスタンダードの行動データ収集を可能にすることで、本フレームワークは、関連するタスクファングプリント研究で示されたように、作業者パフォーマンスの高度な分析と詐欺検出を支援する。