[논문 리뷰] Crowdsourcing Control: Moving Beyond Multiple Choice

Christopher H. Lin, Daniel S. Weld외 1명|arXiv (Cornell University)|2012. 10. 16.

Mobile Crowdsensing and Crowdsourcing참고 문헌 19인용 수 34

한 줄 요약

이 논문은 자유형 응답 작업(결과가 사전에 정의되지 않은 작업)을 위한 동적 워크플로우를 결정 이론적 컨트롤러인 LazySusan을 제안한다. 이는 새로운 확률적 그래픽 모델을 사용하여 작업자 신뢰도와 정답을 함께 학습하는 EM 알고리즘을 적용하여 오류를 83.2% 감소시키고, 메이크어스터크 투두리의 실시간 실험에서 다수결 투표보다 네트워크 유용성을 향상시킨다.

ABSTRACT

To ensure quality results from crowdsourced tasks, requesters often aggregate worker responses and use one of a plethora of strategies to infer the correct answer from the set of noisy responses. However, all current models assume prior knowledge of all possible outcomes of the task. While not an unreasonable assumption for tasks that can be posited as multiple-choice questions (e.g. n-ary classification), we observe that many tasks do not naturally fit this paradigm, but instead demand a free-response formulation where the outcome space is of infinite size (e.g. audio transcription). We model such tasks with a novel probabilistic graphical model, and design and implement LazySusan, a decision-theoretic controller that dynamically requests responses as necessary in order to infer answers to these tasks. We also design an EM algorithm to jointly learn the parameters of our model while inferring the correct answers to multiple tasks at a time. Live experiments on Amazon Mechanical Turk demonstrate the superiority of LazySusan at solving SAT Math questions, eliminating 83.2% of the error and achieving greater net utility compared to the state-ofthe-art strategy, majority-voting. We also show in live experiments that our EM algorithm outperforms majority-voting on a visualization task that we design.

연구 동기 및 목표

• 기존의 다수결 투표와 같은 다중선택형 작업에서 흔히 사용되는 사전 정의된 결과 공간을 가정하는 컨테이너 모델의 한계를 해결하기 위해.
• 결과 공간이 무한하거나 비정형인 자유형 응답에서 정답을 추론할 수 있는 시스템을 개발하기 위해.
• 비용과 오류를 최소화하기 위해 언제, 어떤 작업자를 쿼리할지를 동적으로 결정하는 决定 이론적 컨트롤러를 설계하기 위해.
• 확장 가능하고 종단 간(end-to-end) 프레임워크에서 EM 알고리즘을 활용해 작업자 신뢰도와 진정한 정답을 함께 학습하기 위해.

제안 방법

• 자유형 응답 작업을 위한 작업자 신뢰도와 응답 불확실성을 포괄하는 확률적 그래픽 모델을 제안한다.
• 기대 정보 양과 비용을 기반으로 최적의 쿼리를 선택하는 결정 이론적 컨트롤러(LazySusan)를 설계한다.
• 반복적으로 작업자 파라미터를 추정하고 여러 작업을 동시에 정답을 추론하기 위해 EM 알고리즘을 적용한다.
• 이산 선택이 아닌 연속적 또는 구조화된 출력으로 응답을 모델링하여 텍스트나 오디오와 같은 개방형 입력을 모델링할 수 있도록 한다.
• 새로운 응답이 수집될수록 정답에 대한 신뢰도를 갱신하기 위해 베이지안 추론을 사용한다.
• 작업자 품질 평가와 활성 학습을 통합하여 불필요하거나 저가치의 작업자 요청을 최소화한다.

실험 결과

연구 질문

• RQ1 정적 다수결 투표 대비 동적이고 쿼리 최적화된 컨트롤러는 자유형 응답 컨테이너 작업에서 정확도와 효율성을 향상시킬 수 있는가?
• RQ2 결과 공간이 무한한 개방형 작업에서 작업자 신뢰도와 진정한 정답을 함께 추정할 수 있는가?
• RQ3 활동적 쿼리 선택은 컨테이너 추론 작업에서 오류와 비용을 줄이는 데 어떤 영향을 미치는가?
• RQ4 제안된 EM 기반 학습 프레임워크는 실세계 환경에서 다수의 자유형 응답 작업에 효과적으로 스케일링될 수 있는가?

주요 결과

• 실시간 Mechanical Turk 실험에서 LazySusan은 다수결 투표 대비 SAT 수학 문제에서 오류를 83.2% 감소시켰다.
• 불필요한 작업자 요청을 최소화함으로써 다수결 투표보다 유의미하게 높은 네트워크 유용성을 달성했다.
• EM 알고리즘이 고유의 시각화 작업에서 작업자 파라미터를 정확하게 학습하고 정답을 높은 정확도로 추론하는 데 성공했다.
• 사전 정의된 정답 집합이 필요 없이 자유형 출력의 불확실성을 효과적으로 모델링했다.
• 텍스트 기반 및 시각적 추론 작업을 포함한 다양한 작업 유형에 대해 강력한 적응성을 보였다.
• 기대 정보 양을 기반으로 한 동적 쿼리 선택 전략이 수동 집계 전략보다 뛰어난 성능을 보였다.