[논문 리뷰] Budget-Optimal Task Allocation for Reliable Crowdsourcing Systems

David R. Karger, Sewoong Oh외 1명|arXiv (Cornell University)|2011. 10. 17.

Mobile Crowdsensing and Crowdsourcing참고 문헌 26인용 수 24

한 줄 요약

이 논문은 신뢰할 수 있는 컨소시엄을 위해 신뢰도 추론에 belief propagation와 low-rank matrix approximation를 활용하여 비적응형이고 예산 최적화된 작업 할당 알고리즘을 제안한다. 이는 작업자들이 일시적이고 신뢰할 수 없음에도 불구하고, 순서적으로 최적(즉, 오라클 성능에 근접하면서 비용이 상수배만 증가)인 성능을 달성함을 보여주며, 적응형 작업 할당이 비용 스케일링에서 점근적 이점이 없다는 것을 입증한다.

ABSTRACT

Crowdsourcing systems, in which numerous tasks are electronically distributed to numerous "information piece-workers", have emerged as an effective paradigm for human-powered solving of large scale problems in domains such as image classification, data entry, optical character recognition, recommendation, and proofreading. Because these low-paid workers can be unreliable, nearly all such systems must devise schemes to increase confidence in their answers, typically by assigning each task multiple times and combining the answers in an appropriate manner, e.g. majority voting. In this paper, we consider a general model of such crowdsourcing tasks and pose the problem of minimizing the total price (i.e., number of task assignments) that must be paid to achieve a target overall reliability. We give a new algorithm for deciding which tasks to assign to which workers and for inferring correct answers from the workers' answers. We show that our algorithm, inspired by belief propagation and low-rank matrix approximation, significantly outperforms majority voting and, in fact, is optimal through comparison to an oracle that knows the reliability of every worker. Further, we compare our approach with a more general class of algorithms which can dynamically assign tasks. By adaptively deciding which questions to ask to the next arriving worker, one might hope to reduce uncertainty more efficiently. We show that, perhaps surprisingly, the minimum price necessary to achieve a target reliability scales in the same manner under both adaptive and non-adaptive scenarios. Hence, our non-adaptive approach is order-optimal under both scenarios. This strongly relies on the fact that workers are fleeting and can not be exploited. Therefore, architecturally, our results suggest that building a reliable worker-reputation system is essential to fully harnessing the potential of adaptive designs.

연구 동기 및 목표

• 목표 신뢰도 수준을 달성하면서 총 비용(작업 할당 수)을 최소화하는 컨소시엄 시스템의 과제를 해결한다.
• 작업자 식별이나 재사용이 불가능한 상황에서, 작업자 신뢰도 부족과 일시성에도 효과적으로 작동하는 작업 할당 및 추론 기법을 개발한다.
• 적응형과 비적응형 작업 할당 전략을 비교하여, 동적 할당이 점근적 비용 이점이 있는지 여부를 판단한다.
• 예상된 신뢰도에 기반해 작업자 응답을 가중치화하는 추론 알고리즘을 설계하여 단순 다수결 투표를 초월한 정확도 향상을 도모한다.
• 이론적 최적성을 입증하여, 제안된 방법이 작업자 신뢰도를 완전히 알고 있는 오라클과 비교해도 이론적 최소 비용의 상수배 이내 성능을 달성함을 보여준다.

제안 방법

• 각 작업자가 임의의 작업에 대해 독립적인 신뢰도 파라미터를 가지며, 오류를 확률적으로 발생시키는 확률 모델을 정식화한다.
• 작업자 응답 행렬을 저질서 행렬 분해로 모델링하여, 기저 진짜 레이블과 작업자 신뢰도를 추정한다.
• 응답 간 상호 일관성에 기반해, 작업 레이블과 작업자 신뢰도에 대한 믿음을 반복적으로 갱신하기 위해 belief propagation를 적용한다.
• 응답을 사전에 알 수 없으며, 비용과 신뢰도를 최적화하기 위해 배치 단위로 작업자를 할당하는 비적응형 작업 할당 전략을 설계한다.
• 집중 불등식과 Jensen의 부등식을 활용하여, 목표 오류율을 달성하기 위해 필요한 작업자 수의 하한을 유도한다.
• fleeting 작업자라는 가정 하에, 제안된 알고리즘의 비용 스케일링이 이론적 최소값과 일치함을 증명한다.

실험 결과

연구 질문

• RQ1 신뢰할 수 없고 일시적인 작업자가 존재하는 컨소시엄 시스템에서, 비적응형 작업 할당 전략이 최적의 적응형 전략에 비해 비용 성능을 상수배 이내로 유지할 수 있는가?
• RQ2 신뢰도가 낮은 작업자 존재 속에서, belief propagation와 low-rank matrix approximation는 다수결 투표를 초월해 추론 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 작업자 신뢰도를 알 수 없는 상황에서조차도, 적응형 작업 할당이 극복할 수 없는 기본적인 비용 스케일링 한계가 존재하는가?
• RQ4 제안된 알고리즘의 성능은 모든 작업자 신뢰도를 정확히 안다는 오라클과 비교해 어떻게 되는가?
• RQ5 작업자 신뢰도 추정은 목표 오류율을 달성하기 위해 필요한 총 작업 할당 수를 최소화하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 알고리즘은 다수결 투표에 비해 비용 효율성이 뛰어나며, 더 적은 작업 할당 수로도 더 높은 신뢰도를 달성한다.
• 알고리즘은 순서적으로 최적이다: 이론적 최소 비용에 비해 상수배만 더 많은 할당이 필요하며, 이는 오라클과 비교해도 마찬가지다.
• 놀랍게도, 적응형 작업 할당은 점근적 비용 스케일링을 향상시키지 못한다. 최소 비용은 적응형과 비적응형 모두 동일한 방식으로 증가한다.
• 비용 스케일링은 작업자 일시성과 재사용 불가능성에 의해 본질적으로 제한되며, 이는 적응형 설계가 효과적이기 위해 작업자 평판 시스템이 필수적임을 의미한다.
• 작업자 수의 질량 $\hat{\ell}\hat{r}q^2 = 1$ 에서 단서 전이 현상이 관찰되며, 이 이하에서는 어떤 알고리즘도 다수결 투표를 초월할 수 없으며, 이는 기본적인 정보 이론적 장벽을 시사한다.
• Jensen의 부등식과 Chernoff 부등식을 활용한 이론적 하한은, 필요한 작업자 수가 목표 오류율에 대해 로그 스케일링으로 증가하며, 작업자 품질 $q$ 에 따라 결정되는 상수 요소를 포함함을 확인한다.