[논문 리뷰] A Glimpse Far into the Future: Understanding Long-term Crowd Worker Quality

Kenji Hata, Ranjay Krishna외 2명|arXiv (Cornell University)|2016. 09. 15.

Mobile Crowdsensing and Crowdsourcing참고 문헌 54인용 수 23

한 줄 요약

이 연구는 아마존 메카니컬 터크에서 확보한 900만 건의 애너테이션을 바탕으로 장기적인 마이크로태스크 커스터마이징 품질을 분석하며, 작업자들이 작업 기준치와 관계없이 수주에서 수개월에 걸쳐 일관된 정확도와 속도를 유지함을 발견했다. 작업자들이 첫 5개의 작업을 수행한 결과는 장기적인 품질을 평균 3.4% 오차로 예측할 수 있으며, 이는 피로나 만족도에 따른 성능 저하에 대한 기존 가정을 도전한다.

ABSTRACT

Microtask crowdsourcing is increasingly critical to the creation of extremely large datasets. As a result, crowd workers spend weeks or months repeating the exact same tasks, making it necessary to understand their behavior over these long periods of time. We utilize three large, longitudinal datasets of nine million annotations collected from Amazon Mechanical Turk to examine claims that workers fatigue or satisfice over these long periods, producing lower quality work. We find that, contrary to these claims, workers are extremely stable in their quality over the entire period. To understand whether workers set their quality based on the task's requirements for acceptance, we then perform an experiment where we vary the required quality for a large crowdsourcing task. Workers did not adjust their quality based on the acceptance threshold: workers who were above the threshold continued working at their usual quality level, and workers below the threshold self-selected themselves out of the task. Capitalizing on this consistency, we demonstrate that it is possible to predict workers' long-term quality using just a glimpse of their quality on the first five tasks.

연구 동기 및 목표

• 장기적인 반복 작업에서 피로나 만족도로 인한 작업자 성능 저하 여부를 조사하기 위해.
• 작업 수락 기준치 또는 그 기준치의 투명성이 작업자 품질 조정에 영향을 주는지 여부를 검토하기 위해.
• 초기 작업 성과가 동일한 작업에서 장기적인 작업자 품질을 신뢰성 있게 예측할 수 있는지 판단하기 위해.
• 일관된 작업자 품질이 대규모 커스터마이징 워크플로우 및 품질 제어 전략 설계에 미치는 영향을 평가하기 위해.

제안 방법

• 아마존 메카니컬 터크에서 확보한 세 개의 대규모 종단적 데이터셋을 분석하여, 이미지 설명, 질문 응답, 이진 검증 작업을 포함해 총 900만 건 이상의 애너테이션을 확보했다.
• 성능 저하 또는 향상 추세를 탐지하기 위해 시간에 따른 작업자 정확도, 속도, 응답 다양성 변화를 추적했다.
• 수용 기준치와 그 투명성의 변화를 조절한 제어 실험을 수행하여 전략적 작업자 행동을 관찰했다.
• 장기적인 작업자 품질 예측 모델로 첫 5개 작업의 정확도 평균을 사용했다.
• 예측 정확도 평가를 위해 첫 5개 작업 기반 예측 품질과 작업자 최종 10% 작업 제출 결과의 실제 품질을 비교했다.
• 성능 지표의 안정성에 중점을 두고, 작업자 및 작업 유형 간 일관성을 평가하기 위해 통계 분석을 적용했다.

실험 결과

연구 질문

• RQ1 장기적인 마이크로태스크 작업에서 피로나 인지 부하로 인해 작업자 성능이 저하되는가?
• RQ2 작업자들이 수락 기준치 또는 그 기준치의 투명성에 따라 전략적으로 품질을 조정하는가?
• RQ3 작업자들이 첫 번째 몇 개의 작업에서의 성과가 장기적인 품질을 신뢰성 있게 예측할 수 있는가?
• RQ4 작업자 일관성이 대규모 커스터마이징에서 품질 제어 메커니즘 설계에 어떻게 영향을 주는가?

주요 결과

• 작업자들은 반복적인 작업 수행 기간 동안 수주에서 수개월에 걸쳐 매우 안정적인 정확도를 유지하며, 성능 저하가 유의미하게 발생하지 않았다.
• 작업자들은 높거나 낮은 수용 기준치에 영향을 받아 품질을 조정하지 않으며, 오히려 저품질 작업자들이 고기준 기준치를 가진 작업에서 자발적으로 탈락한다.
• 첫 5개 작업의 정확도 평균을 사용해 장기적인 작업자 품질을 예측할 경우 평균 오차는 3.4%에 불과하다.
• 경험이 쌓일수록 작업자 속도는 증가하지만, 정확도는 일정하게 유지되어 시간이 지남에 따라 속도와 정확도 사이의 상충 관계가 없음을 시사한다.
• 일관된 작업자 행동은 프로세스 중심 전략(예: 기준치 조작)이 아닌, 초기 성과 기반의 개인 중심 품질 제어 전략(예: 조기 선별)을 지원한다.
• 본 연구의 결과는 데이터 레이블링 마이크로태스크에 국한되며, 더 복잡하거나 창의적인 작업으로의 일반화는 제한적일 수 있다.