[论文解读] MmmTurkey: A Crowdsourcing Framework for Deploying Tasks and Recording Worker Behavior on Amazon Mechanical Turk

Brandon Dang, Miles Hutson+1 more|arXiv (Cornell University)|Sep 4, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 9被引用 8

一句话总结

MmmTurkey 是一个基于 Django 的开源框架，使研究人员能够轻松地在 Amazon Mechanical Turk 上部署外部 HIT，同时通过可自定义的前端审计器原生记录详细的工作员行为数据。通过捕捉鼠标移动、点击和标签页焦点变化等交互行为，它提供了一个模块化、可扩展的平台，用于研究工作员行为并超越标准响应收集提升数据质量。

ABSTRACT

Internal HITs on Mechanical Turk can be programmatically restrictive, and as a result, many requesters turn to using external HITs as a more flexible alternative. However, creating such HITs can be redundant and time-consuming. We present MmmTurkey, a framework that enables researchers to not only quickly create and manage external HITs, but more significantly also capture and record detailed worker behavioral data characterizing how each worker completes a given task.

研究动机与目标

• 为解决 Mechanical Turk 上内部 HIT 的程序限制问题，通过支持灵活的外部 HIT 部署。
• 为研究人员提供一种工具，以捕捉任务完成期间的细粒度前端工作员交互数据（例如点击、鼠标移动）。
• 支持模块化组件（如步骤和审计器）的开发与复用，以支持自定义任务设计与行为日志记录。
• 提供一个可复用、可扩展且开源的平台，降低研究人员创建行为记录任务的开发开销。
• 通过分析工作员的行为轨迹（包括区分高质量与低质量表现），实现改进的数据质量评估与欺诈检测。

提出的方法

• 该框架基于 Django 构建，允许用户通过浏览器端管理控制面板创建和管理外部 HIT。
• 任务由模块化的“步骤”（例如多选题、文本输入）和“审计器”（例如点击追踪器、停留时间监控器）组成，实时记录用户交互。
• 审计器使用 JavaScript 和 jQuery 实现，捕捉鼠标移动、按键输入和标签页切换等事件，并将数据存储在后端数据库中。
• 系统以结构化的 XML 格式导出所有收集到的数据，包括工作员响应和审计器日志，便于后续分析。
• 通过扩展框架的钩子机制，可轻松添加自定义步骤和审计器，仅需少量编码（掌握基本 Python 和 JavaScript 知识即可）。
• 该框架抽象了管理、数据库和导出逻辑，支持新组件的复用，降低维护开销。

实验结果

研究问题

• RQ1 研究人员如何在保持数据完整性的同时，高效地部署和管理 Amazon Mechanical Turk 上的外部 HIT？
• RQ2 在任务完成过程中，可以捕捉哪些类型的工作员行为数据以提升数据质量评估？
• RQ3 前端交互日志（例如点击、停留时间）在多大程度上能够区分高质量与低质量的工作员表现？
• RQ4 模块化开源框架在多大程度上能减轻研究人员创建行为记录任务的开发负担？
• RQ5 审计器能否被其他研究人员有效复用和扩展，以支持多样化的行为分析需求？

主要发现

• MmmTurkey 通过浏览器端控制面板实现了对外部 HIT 的完整管理控制，显著降低了设置复杂度。
• 该框架成功捕获了详细的行為轨迹，例如总点击次数、鼠标移动模式和标签页焦点变化，通过可自定义的审计器实现。
• 导出的数据以结构化的 XML 格式提供，包含工作员响应和审计器日志，便于后续分析。
• 模块化架构使研究人员能够以极少代码创建并集成自定义步骤和审计器，显著提升了可扩展性。
• 据我们所知，MmmTurkey 是首个同时提供外部 HIT 管理和全面前端行为日志记录功能的开源框架。
• 通过支持金标准行为数据的采集，该框架为工作员表现的高级分析与欺诈检测提供了支持，如相关任务指纹识别研究所示。