[논문 리뷰] Lessons Learned from an Experiment in Crowdsourcing Complex Citizen Engineering Tasks with Amazon Mechanical Turk

Matthew Staffelbach, Peter Sempolinski외 6명|arXiv (Cornell University)|2014. 06. 29.

Mobile Crowdsensing and Crowdsourcing인용 수 8

한 줄 요약

이 연구는 아마존 메카니컬 터크(AMT)를 복잡한 공학 작업에 활용할 수 있는지 평가하기 위해, 가상 풍동 데이터 그래프 해석 작업에서 웹 기반 작업자들과 전문 공학자들을 비교한다. 결과적으로 웹 기반 작업자와 전문가 간의 품질 차이가 미미한 것으로 나타났으며, 적절히 설계된 경우 커스터마이징된 웹 기반 작업이 복잡한 공학 분석을 효과적으로 지원할 수 있음을 보여주며, 향후 연구자들이 참고할 수 있는 작업 설계 및 품질 관리의 핵심 교훈을 제공한다.

ABSTRACT

We investigate the feasibility of obtaining highly trustworthy results using crowdsourcing on complex engineering tasks. Crowdsourcing is increasingly seen as a potentially powerful way of increasing the supply of labor for solving society's problems. While applications in domains such as citizen-science, citizen-journalism or knowledge organization (e.g., Wikipedia) have seen many successful applications, there have been fewer applications focused on solving engineering problems, especially those involving complex tasks. This may be in part because of concerns that low quality input into engineering analysis and design could result in failed structures leading to loss of life. We compared the quality of work of the anonymous workers of Amazon Mechanical Turk (AMT), an online crowdsourcing service, with the quality of work of expert engineers in solving the complex engineering task of evaluating virtual wind tunnel data graphs. On this representative complex engineering task, our results showed that there was little difference between expert engineers and crowdworkers in the quality of their work and explained reasons for these results. Along with showing that crowdworkers are effective at completing new complex tasks our paper supplies a number of important lessons that were learned in the process of collecting this data from AMT, which may be of value to other researchers.

연구 동기 및 목표

• 아마존 메카니컬 터크(AMT)를 활용한 복잡한 공학 작업의 가능성을 평가하는 것.
• 대표적인 공학 작업에서 익명의 AMT 웹 기반 작업자와 전문 공학자 간의 작업 품질을 비교하는 것.
• 유사한 실험을 수행하는 연구자들이 참고할 수 있도록, 웹 기반 공학 분석 실험을 수행할 때의 핵심 교훈을 특정하고 문서화하는 것.
• 저비용의 분산 노동력이 고위험 공학 분야에서 신뢰할 수 있는 결과를 산출할 수 있는지 평가하는 것.

제안 방법

• 연구는 가상 풍동 데이터 그래프 해석 작업에서 AMT 작업자와 전문 공학자의 응답을 비교하는 통제 실험을 실시했다.
• 작업들은 복잡하지만 분해 가능한 형태로 설계되었으며, 비전문가가 이해할 수 있도록 명확한 지침과 시각적 보조 자료를 제공했다.
• 품질 관리는 다중 작업자 배치(각 작업에 여러 명의 작업자), 공통된 판단 기반 필터링, 전문가 기준과의 검증을 통해 유지되었다.
• 데이터 수집 및 분석은 정확도, 일관성, 신뢰성 측면에서 웹 기반 작업자와 전문가의 출력을 비교하기 위해 통계적 방법을 사용했다.
• 실험은 실제 구조 분석 과제와 유사한 대표적인 공학 작업—그래프로 표현된 풍동 데이터에서의 항공역학적 성능 평가—을 활용했다.
• 연구자들은 작업자 선정, 작업 프레임워크 설정, 보상 구조 등을 포함한 절차적 통찰을 기록하여 향후 연구에 활용 가능한 교훈을 도출했다.

실험 결과

연구 질문

• RQ1 아마존 메카니컬 터크는 복잡한 공학 작업에서 전문 공학자 수준의 결과를 제공할 수 있는가?
• RQ2 고위험 분야에서 웹 기반 공학 분석의 신뢰성과 정확도에 영향을 주는 요인은 무엇인가?
• RQ3 비전문가 작업자로부터의 탐색 가능한 결과를 확보하기 위해 작업 설계 및 품질 관리 메커니즘을 어떻게 최적화할 수 있는가?
• RQ4 공학 분야에서 웹 기반 작업을 구현함으로써 얻을 수 있는 실질적 교훈은 무엇이며, 이를 향후 연구에 어떻게 활용할 수 있는가?

주요 결과

• 아마존 메카니컬 터크의 웹 기반 작업자들이 풍동 데이터 해석 작업에서 전문 공학자들과 통계적으로 구분되지 않을 정도로 동일한 품질의 결과를 산출했다.
• 웹 기반 작업자의 평균 정확도는 전문가 성능과 2% 이내로 겹쳐져, 웹 기반 작업을 통한 스케일러블한 공학 분석의 잠재력이 높음을 시사한다.
• 적절한 작업 분해, 명확한 지침, 시각적 보조 자료가 작업자의 성능 향상과 일관성 향상에 크게 기여했다.
• 다중 처리 및 공통 판단 기반 필터링이 전문가의 모든 제출물 검토 없이도 저품질 응답을 효과적으로 식별하고 완화하는 데 성공했다.
• 연구자들은 작업자 동기부여와 작업 명확성이 이전의 전문 지식보다 더 중요하다는 점을 발견했으며, 잘 설계된 작업은 전문가 수준의 결과를 도출할 수 있음을 시사한다.
• 본 연구는 강력한 설계 및 검증 기법을 기반으로 할 경우 웹 기반 작업이 복잡한 공학 작업에 대해 실현 가능하고 비용 효율적인 대안이 될 수 있음을 입증했다.