[논문 리뷰] Crowdsourced Task Routing via Matrix Factorization

Hyun Joon Jung, Matthew Lease|arXiv (Cornell University)|2013. 10. 18.

Mobile Crowdsensing and Crowdsourcing참고 문헌 17인용 수 8

한 줄 요약

이 논문은 기존 성과 데이터만을 사용하여 군중 작업자들의 새로운 작업에 대한 정확도를 예측하기 위해 행렬 분해(MF)를 사용하는 것을 제안한다. 이를 통해 품질을 향상시키기 위해 지능형 작업 라우팅이 가능해진다. 특별히 희소 데이터 상황과 스팸러가 존재하는 상황에서도, 특성 유사도를 단일 값 분해(SVD)와 확률적 행렬 분해(PMF)를 통해 모델링함으로써, 기존의 기준 방법들보다 정확도 예측과 최상위 작업자 식별에서 뛰어난 성능을 보인다.

ABSTRACT

We describe methods to predict a crowd worker's accuracy on new tasks based on his accuracy on past tasks. Such prediction provides a foundation for identifying the best workers to route work to in order to maximize accuracy on the new task. Our key insight is to model similarity of past tasks to the target task such that past task accuracies can be optimally integrated to predict target task accuracy. We describe two matrix factorization (MF) approaches from collaborative filtering which not only exploit such task similarity, but are known to be robust to sparse data. Experiments on synthetic and real-world datasets provide feasibility assessment and comparative evaluation of MF approaches vs. two baseline methods. Across a range of data scales and task similarity conditions, we evaluate: 1) prediction error over all workers; and 2) how well each method predicts the best workers to use for each task. Results show the benefit of task routing over random assignment, the strength of probabilistic MF over baseline methods, and the robustness of methods under different conditions.

연구 동기 및 목표

• MTurk와 같은 군중 컴퓨팅 플랫폼에서 작업자 자율 선택으로 인해 잠재적으로 최적의 작업 할당이 이루어지지 않는 낮은 품질의 작업 문제를 해결하기 위해.
• 특징 표현을 필요로 하지 않고 이전 성과 데이터만을 사용하여 새로운 작업에서의 작업자 정확도를 예측함으로써 작업 라우팅을 향상시키기 위해.
• 희소 데이터와 작업 유사도 조건이 다양할 때, 행렬 분해 방법이 작업자 정확도를 얼마나 견고하게 예측하고 최상위 수행자를 식별할 수 있는지 평가하기 위해.
• 스팸러가 존재할 경우 예측 성능과 라우팅 효과성에 미치는 영향을 평가하기 위해.
• 기본 기준 방법(평균, 가중 평균)과 비교하여 MF 기반 방법(SVD, PMF)이 예측 정확도와 최상위 작업자 식별 측면에서 어떻게 성과를 내는지 평가하기 위해.

제안 방법

• 각 항목이 이전 작업에서 작업자의 관측된 정확도를 나타내는 작업자-작업 행렬을 구성한다. 이는 기준 참조 샘플과 비교하여 평가된다.
• 두 가지 행렬 분해 기법인 단일 값 분해(SVD)와 확률적 행렬 분해(PMF)를 적용하여 새로운 작업에서의 관측되지 않은 작업자 정확도를 예측한다.
• 공통된 작업자 성과 패턴을 통해 유사도를 도출함으로써 과거 작업 정확도를 더 효과적으로 통합함으로써 예측 성능을 향상시킨다.
• 희소 데이터 상황에서라도 견고한 예측이 가능하도록, 작업자-작업 성과를 저질서수 행렬 분해 문제로 모델링한다.
• 예측된 정확도 기반으로 작업자를 순위 매겨 새로운 작업에 할당할 최상위-k 수행자들을 식별한다.
• 전체 정확도 평가를 위해 RMSE를, 라우팅 효과성 평가를 위해 최상위-k 순위 작업자들의 평균 정확도를 기준으로 예측 결과를 기준 참조와 비교한다.

실험 결과

연구 질문

• RQ1 행렬 분해 기반 예측 성능은 작업 유사도, 행렬 크기, 밀도에 따라 어떻게 변할까? 이는 다양한 작업에서의 작업자 정확도 예측에 대해 어떻게 영향을 미치는가?
• RQ2 예측된 최상위-k 작업자에게 작업을 라우팅하는 것이 무작위 할당보다 우월한가? 이 경우 PMF와 SVD는 기준 방법보다 어떻게 비교되는가?
• RQ3 스팸러가 작업자 풀에 존재할 경우 MF 기반 예측은 얼마나 견고한가?
• RQ4 예측 오차와 최상위 작업자 식별 정확도는 다양한 데이터 스케일과 작업 유사도 조건에서 어떻게 변화하는가?
• RQ5 실제 환경과 시뮬레이션 환경에서 PMF와 SVD, 기준 방법(평균, 가중 평균)의 상대적 성능은 어떠한가?

주요 결과

• 특히 PMF가 기준 방법보다 예측 오차(RMSE)를 크게 감소시키며, 작업 유사도가 증가할수록 RMSE가 감소하는 경향을 보인다.
• 실제 MTurk 데이터(443명의 작업자, 3개의 작업)에서 PMF는 RMSE 0.211을 기록하여 SVD(0.170)와 무작위 할당(0.317)을 모두 앞서며 RMSE에서 뛰어난 성능을 보였다.
• 최상위-10 작업자 예측(MA10)의 경우 PMF는 평균 정확도 0.773을 기록하여 무작위 할당(0.381)과 SVD(0.609)를 크게 앞서며 뚜렷한 우월성을 보였다.
• 스팸러가 존재하더라도 최상위 작업자 식별 성능은 여전히 견고하며, 높은 정확도 작업자와 낮은 성과 작업자 간의 구분이 명확하게 이루어진다.
• 특히 k가 증가함에 따라 PMF는 SVD와 기준 방법(평균, 가중 평균)을 항상 앞서며 가장 정확한 작업자를 식별하는 데 뛰어난 성능을 보였다.
• 실제 데이터와 시뮬레이션 데이터 모두에서 MA10가 k 증가에 따라 감소하는 경향이 일관되게 나타나, 모델이 실용적 환경에서 신뢰할 수 있음을 확인했다.