[논문 리뷰] Cheaper and Better: Selecting Good Workers for Crowdsourcing

Hong-Wei Li, Qiang Liu|arXiv (Cornell University)|2015. 02. 03.

Mobile Crowdsensing and Crowdsourcing참고 문헌 18인용 수 11

한 줄 요약

이 논문은 예산 제약 조건 하에서 레이블링 정확도를 최대화하기 위해 일관성 있는 높은 신뢰도를 가진 작업자 집합에서 최소한의 하위집합을 선택하기 위한 조합 최적화 방법을 제안한다. 오차율의 상한을 최소화하기 위해 비편향 추정기를 사용함으로써, 표준 top-K 방법보다 적은 수의 상위 순위 작업자를 선택함으로써 동일하거나 더 나은 성능를 달성하면서 비용을 절감한다.

ABSTRACT

Crowdsourcing provides a popular paradigm for data collection at scale. We study the problem of selecting subsets of workers from a given worker pool to maximize the accuracy under a budget constraint. One natural question is whether we should hire as many workers as the budget allows, or restrict on a small number of top-quality workers. By theoretically analyzing the error rate of a typical setting in crowdsourcing, we frame the worker selection problem into a combinatorial optimization problem and propose an algorithm to solve it efficiently. Empirical results on both simulated and real-world datasets show that our algorithm is able to select a small number of high-quality workers, and performs as good as, sometimes even better than, the much larger crowds as the budget allows.

연구 동기 및 목표

• 더 많은 작업자를 고용하는 것이 항상 레이블링 정확도를 향상시킬 수 있는가에 대한 질문을 해결하기 위해.
• 고정된 예산 한도 하에서 사용된 작업자 수를 최소화하면서 정확도를 최대화하는 작업자 하위집합을 식별하기 위해.
• 사전 지정된 신뢰도 임계값이나 노이즈가 많은 추정기 의존을 피하기 위한 방법을 개발하기 위해.
• 조합 최적화 프레임워크를 활용해 오차율의 상한을 최소화함으로써 워커 선택을 최적화하기 위해.
• 전략적으로 선택된 적은 수의 고성능 작업자가 더 큰 인력 풀보다 더 나은 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 예측 오차율의 상한을 최소화하기 위한 조합 최적화 문제로 워커 선택 문제를 수립한다.
• 선형 또는 로그비율 가중치 함수를 사용하는 가중 다수결 투표(WMV) 집계 방법을 활용해 작업자 신뢰도를 추정한다.
• 최적화 목표가 진정된 성능 분포를 반영하도록 오차율의 비편향 추정기를 사용한다.
• 신뢰도 추정의 강건성을 유지하기 위해 대칭 신뢰구간 보장을 적용한다.
• 최대 K명의 작업자로 제한된 조건 하에서 오차율이 최소가 되는 워커 하위집합을 선택하는 전역 최적 알고리즘을 도출한다.
• 노이즈가 많은 신뢰도 추정에 과적합되지 않도록 하는 신뢰구간 기반 선택 전략을 활용한다.

실험 결과

연구 질문

• RQ1 높은 품질의 작업자 수를 적게 선택하는 것이 평균 또는 저품질 작업자로 구성된 더 큰 풀을 사용하는 것보다 더 나은 정확도를 낼 수 있는가?
• RQ2 조합 최적화 접근 방식이 정확도와 비용 효율성 측면에서 표준 top-K 선택 전략을 능가할 수 있는가?
• RQ3 가중치 함수의 선택(선형 대비 로그비율)이 집계 과정의 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 왜 top-K 작업자에 기반한 EM 기반 집계는 K가 증가함에 따라 성능이 떨어지는가?
• RQ5 편향이 없는 오차율 추정기는 편향이 있는 플러그인 추정기보다 더 나은 워커 선택을 이끌 수 있는가?

주요 결과

• 제안된 알고리즘은 항상 K명 이하의 작업자를 선택하며, 특히 디셈버리게이션 데이터셋에서는 평균 6명 이하, 블루버드 데이터셋에서는 9명 이하로 선택함으로써 top-K 선택 방식과 동일하거나 더 높은 정확도를 달성한다.
• 선형 가중치를 사용하는 WMV는 극단적인 신뢰도 추정치로 인한 불안정성이 줄어들어, 특히 골드 질문 수가 적을 경우 로그비율 가중치를 사용하는 WMV보다 성능이 뛰어나다.
• top-K 작업자에 기반한 EM 기반 집계는 K가 증가함에 따라 성능이 떨어지는데, 이는 더 신뢰도가 낮은 작업자가 포함되어 신뢰도 추정 과정을 혼란스럽게 하기 때문이다.
• 편향이 없는 오차율 추정기를 사용할 경우, 편향이 있는 플러그인 추정기보다 상당히 더 나은 성능을 보이며, 이는 실증 결과로 확인되었다.
• 실제 데이터셋(디셈버리게이션 및 블루버드)에서 모두, 알고리즘이 선택한 작업자들은 작업자 수가 크게 줄었음에도 불구하고 더 큰 인력 풀의 성능과 비교해 유사하거나 더 뛰어난 성능을 보였다.
• 정확도를 희생시키지 않고도 비용 절감을 달성하였으며, 이는 선택 전략이 최적화되어 있을 경우 품질이 수량을 압도한다는 것을 입증한다.