[논문 리뷰] Prototype Tasks: Improving Crowdsourcing Results through Rapid, Iterative Task Design

Snehalkumar S. Gaikwad, Nalin Chhibber외 27명|arXiv (Cornell University)|2017. 07. 18.

Mobile Crowdsensing and Crowdsourcing참고 문헌 30인용 수 5

한 줄 요약

이 논문은 요청자가 최종 배포 전에 설계 명확성을 향상시키기 위해 새로운 작업의 소규모, 피드백 기반 반복을 시행하는 '프로토타입 작업'이라는 커스터마이징 전략을 소개한다. 현장 실험을 통해 프로토타입 작업은 요청자가 초기 작업자 피드백을 바탕으로 지침, 예시, 예외 케이스를 개선할 수 있게 해, 후속 결과 품질을 크게 향상시켰다. 이는 요청자의 작업 설계 품질이 작업 결과에 직접적인 영향을 미친다는 것을 입증한다.

ABSTRACT

Low-quality results have been a long-standing problem on microtask crowdsourcing platforms, driving away requesters and justifying low wages for workers. To date, workers have been blamed for low-quality results: they are said to make as little effort as possible, do not pay attention to detail, and lack expertise. In this paper, we hypothesize that requesters may also be responsible for low-quality work: they launch unclear task designs that confuse even earnest workers, under-specify edge cases, and neglect to include examples. We introduce prototype tasks, a crowdsourcing strategy requiring all new task designs to launch a small number of sample tasks. Workers attempt these tasks and leave feedback, enabling the re- quester to iterate on the design before publishing it. We report a field experiment in which tasks that underwent prototype task iteration produced higher-quality work results than the original task designs. With this research, we suggest that a simple and rapid iteration cycle can improve crowd work, and we provide empirical evidence that requester "quality" directly impacts result quality.

연구 동기 및 목표

• 아마존 메커니컬 터크와 같은 마이크로태스크 커스터마이징 플랫폼에서 지속적으로 발생하는 낮은 품질의 결과 문제를 해결한다.
• 낮은 품질의 출력을 작업자 탓으로 돌리는 기존의 관행을 도전하며, 요청자의 작업 설계를 근본 원인으로 삼는다.
• 소규모 작업자 그룹으로부터의 초기 피드백을 활용한 반복적 작업 설계가 작업 품질과 결과 정확도를 향상시킬 수 있는지 조사한다.
• 요청자가 대규모 배포 전에 작업 설계를 개선할 수 있도록 실용적이고 경량의 전략(프로토타입 작업)을 개발하고 평가한다.
• 요청자의 작업 설계 품질이 작업자의 노력이나 전문성 외에도 커스터마이징 작업의 품질에 직접적인 영향을 미친다는 것을 입증한다.

제안 방법

• 새로운 작업을 마켓플레이스에 공개하기 전에 3~7명의 작업자로 구성된 소규모 시험판으로 먼저 게시하는 '프로토타입 작업'을 도입한다.
• 프로토타입 작업의 하단에 '내가 좋아하는 점', '내가 바라는 점', '만약 이렇게라면' 등의 피드백 양식을 통합하여 명확성, 지침, 사용성에 대한 정성적 피드백을 유도한다.
• 요청자가 소량의 입력(예: 1~2개의 URL, 1개의 영상)을 샘플링하여 소규모 작업자 그룹에 제공해 피드백과 예시 출력을 수집한다.
• 수집된 피드백과 샘플 결과를 바탕으로 지침, 예시, 인터페이스 디자인을 반복적으로 개선한 후 최종 배포를 진행한다.
• 사용자 중심 설계 및 인간-컴퓨터 상호작용 원칙을 적용하여 작업 생성 시 관점 전환과 정신 모델 일치를 강조한다.
• Daemo 커스터마이징 플랫폼 내부에 프로토타입 작업 시스템을 구현하여 요청자가 수정 과정에서 작성된 피드백과 제출된 결과를 모두 시각화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 프로토타입 작업을 활용한 반복적 작업 설계는 비반복적 작업 설계에 비해 더 높은 품질의 결과를 낳는가?
• RQ2 작업자 피드백과 초기 테스트는 작업 설계에서 모호성, 예외 케이스, 명확하지 않은 지침을 얼마나 잘 식별하고 해결하는가?
• RQ3 요청자의 작업 설계 품질은 커스터마이징 플랫폼에서 최종 출력 품질에 어떤 영향을 미치는가?
• RQ4 대규모 재설계나 플랫폼 변경 없이도 경량적이고 신속한 반복 프로세스가 작업 결과를 상당히 향상시킬 수 있는가?
• RQ5 작업자로부터의 어떤 유형의 피드백이 작업 설계 개선을 이끄는 데 가장 효과적인가?

주요 결과

• 프로토타입 작업 반복을 거친 작업은 원본 작업 설계 대비 후속 정확도와 일관성 측면에서 유의미하게 높은 품질의 결과를 산출했다.
• 프로토타입 작업은 직접적인 작업자 피드백을 통해 모호한 지침, 명확하지 않은 예시, 간과된 예외 케이스를 식별하고 해결하는 데 기여했다.
• 피드백 과정을 통해 작업자가 지침의 명확성 부족으로 인해 조건이 단순한 작업조차도 작업 목표를 오해하는 경우가 많다는 점이 드러났다.
• 프로토타입 작업을 사용한 요청자들은 작업 설계에 대해 더 큰 자신감을 느꼈고, 최종 배포 후 작업자 제출물의 기각률도 감소시켰다.
• 반복 과정를 통해 작업의 명확성과 사용성에 실질적인 향상이 있었으며, 이는 정성적 피드백과 정량적 결과 품질 지표를 통해 뒷받침되었다.
• 본 연구는 요청자의 작업 설계 품질이 이전에 간과되었지만, 커스터마이징 작업의 품질을 결정하는 핵심 요소임을 실증적으로 입증한다.