[논문 리뷰] MmmTurkey: A Crowdsourcing Framework for Deploying Tasks and Recording Worker Behavior on Amazon Mechanical Turk

Brandon Dang, Miles Hutson외 1명|arXiv (Cornell University)|2016. 09. 04.

Mobile Crowdsensing and Crowdsourcing참고 문헌 9인용 수 8

한 줄 요약

MmmTurkey는 오픈소스이자 장고 기반의 프레임워크로, 연구자가 아마존 메커니컬 터크 상에서 외부 HIT를 쉽게 배포할 수 있도록 하면서도, 사용자 정의 가능한 프론트엔드 감시자들을 통해 자연스럽게 상세한 워커 행동 데이터를 기록할 수 있도록 한다. 마우스 이동, 클릭, 탭 포커스 변경과 같은 상호작용을 캡처함으로써, 표준 응답 수집을 넘어서 워커 행동 연구 및 데이터 품질 향상에 유용한 모듈식이고 확장 가능한 플랫폼을 제공한다.

ABSTRACT

Internal HITs on Mechanical Turk can be programmatically restrictive, and as a result, many requesters turn to using external HITs as a more flexible alternative. However, creating such HITs can be redundant and time-consuming. We present MmmTurkey, a framework that enables researchers to not only quickly create and manage external HITs, but more significantly also capture and record detailed worker behavioral data characterizing how each worker completes a given task.

연구 동기 및 목표

• 기존 내부 HIT의 프로그래밍적 제약을 해결하기 위해 외부 HIT의 유연한 배포를 가능하게 한다.
• 연구자가 작업 완료 중에 클릭, 마우스 이동과 같은 세분화된 프론트엔드 워커 상호작용 데이터를 캡처할 수 있는 도구를 제공한다.
• 사용자 정의 작업 설계 및 행동 로깅을 위한 모듈식 구성 요소(예: 단계 및 감시자)의 개발과 재사용을 지원한다.
• 연구자가 행동 기반 데이터를 포함한 작업을 만들 때 개발 오버헤드를 줄일 수 있도록 재사용 가능하고 확장 가능하며 오픈소스 플랫폼을 제공한다.
• 워커의 행동 추적 데이터를 분석하여 데이터 품질 평가 및 사기 탐지 기능을 향상시키며, 높은 품질 대 저품질 성과 간의 차이를 식별할 수 있도록 한다.

제안 방법

• 프레임워크는 장고 기반으로 구축되어, 브라우저 기반 관리 대시보드를 통해 외부 HIT를 생성하고 관리할 수 있도록 한다.
• 작업는 모듈식 '단계'(예: 다중 선택, 텍스트 입력)와 '감시자'(예: 클릭 추적기, 체류 시간 모니터)로 구성되며, 사용자 상호작용을 실시간으로 기록한다.
• 감시자는 자바스크립트와 제이쿼리로 구현되어 마우스 이동, 키 입력, 탭 전환과 같은 이벤트를 캡처하며, 백엔드 데이터베이스에 저장된다.
• 시스템은 수집된 모든 데이터—워커의 응답과 감시자 로그를 포함—를 구조화된 XML 형식으로 내보내어 후속 분석을 가능하게 한다.
• 기본적인 파이썬 및 자바스크립트 지식만으로도 프레임워크의 훅을 확장하여 커스터마이징된 단계와 감시자를 추가할 수 있다.
• 프레임워크는 행정, 데이터베이스, 내보내기 로직을 추상화하여 새로운 구성 요소에 대한 재사용과 유지보수 오버헤드를 줄인다.

실험 결과

연구 질문

• RQ1 연구자가 아마존 메커니컬 터크 상에서 외부 HIT를 효율적으로 배포하고 관리하면서도 데이터 무결성을 유지할 수 있는가?
• RQ2 작업 완료 중에 어떤 유형의 워커 행동 데이터를 캡처할 수 있으며, 이를 통해 데이터 품질 평가를 향상시킬 수 있는가?
• RQ3 프론트엔드 상호작용 로그(예: 클릭, 체류 시간)가 높은 품질과 낮은 품질의 워커 성과를 얼마나 잘 구분할 수 있는가?
• RQ4 모듈식 오픈소스 프레임워크는 행동 기반 데이터를 포함한 작업을 제작하는 데 있어 연구자의 개발 부담을 얼마나 줄일 수 있는가?
• RQ5 다양한 행동 분석 요구사항을 충족시키기 위해 다른 연구자가 감시자를 효과적으로 재사용하고 확장할 수 있는가?

주요 결과

• MmmTurkey는 브라우저 기반 대시보드를 통해 외부 HIT를 완전한 관리 제어 기능으로 배포함으로써 설정 복잡성을 줄였다.
• 프레임워크는 사용자 정의 가능한 감시자를 통해 총 클릭 수, 마우스 이동 패턴, 탭 포커스 변경과 같은 세부 행동 추적 데이터를 성공적으로 캡처했다.
• 내보낸 데이터는 워커의 응답과 감시자 로그를 모두 포함한 구조화된 XML 형식으로 제공되어 후속 분석에 용이하다.
• 모듈식 아키텍처 덕분에 연구자가 최소한의 코드로 커스터마이징된 단계와 감시자를 만들고 통합할 수 있어 확장성이 향상되었다.
• MmmTurkey는 우리가 알고 있는 바에선 외부 HIT 관리와 종합적인 프론트엔드 행동 로깅 기능을 동시에 제공하는 최초의 오픈소스 프레임워크이다.
• 골드스탠다드 수준의 행동 기반 데이터 수집을 가능하게 함으로써, 프레임워크는 관련된 작업 지문 분석 연구에서와 같이 워커 성과 분석 및 사기 탐지에 대한 고급 분석을 지원한다.