[논문 리뷰] Task Recommendation in Crowdsourcing Based on Learning Preferences and Reliabilities

Qiyu Kang, Wee Peng Tay|arXiv (Cornell University)|2018. 07. 27.

Mobile Crowdsensing and Crowdsourcing참고 문헌 33인용 수 4

한 줄 요약

이 논문은 골드 태스크(정답이 알려진 태스크이지만 보상 없음)를 사용하여 작업자 선호도와 신뢰성을 학습하는 다손대 랜덤화(모든 보상 없음) 프레임워크를 제안한다. 이 모델은 $O(\sqrt{n})$의 최적의 누적 손실을 달성하며, 세 가지 전략(GR, UR, $\epsilon$-first)을 도입하여 순서적으로 최적화된 성능을 보이며, 시뮬레이션 결과 GR 전략이 누적 보상과 손실 측면에서 균일한 무작위 탐색보다 뛰어나다.

ABSTRACT

Workers participating in a crowdsourcing platform can have a wide range of abilities and interests. An important problem in crowdsourcing is the task recommendation problem, in which tasks that best match a particular worker's preferences and reliabilities are recommended to that worker. A task recommendation scheme that assigns tasks more likely to be accepted by a worker who is more likely to complete it reliably results in better performance for the task requester. Without prior information about a worker, his preferences and reliabilities need to be learned over time. In this paper, we propose a multi-armed bandit (MAB) framework to learn a worker's preferences and his reliabilities for different categories of tasks. However, unlike the classical MAB problem, the reward from the worker's completion of a task is unobservable. We therefore include the use of gold tasks (i.e., tasks whose solutions are known \emph{a priori} and which do not produce any rewards) in our task recommendation procedure. Our model could be viewed as a new variant of MAB, in which the random rewards can only be observed at those time steps where gold tasks are used, and the accuracy of estimating the expected reward of recommending a task to a worker depends on the number of gold tasks used. We show that the optimal regret is $O(\sqrt{n})$, where $n$ is the number of tasks recommended to the worker. We develop three task recommendation strategies to determine the number of gold tasks for different task categories, and show that they are order optimal. Simulations verify the efficiency of our approaches.

연구 동기 및 목표

• 작업자 선호도와 신뢰성을 고려하여 태스크 추천을 통해 작업 완료 품질과 수락률을 향상시키는 커스터마이징된 태스크 추천 문제를 해결하기 위해.
• 태스크 품질에 대한 즉각적인 피드백이 없기 때문에 보상이 관측 불가능한 상황에서, 태스크 추천 문제를 다손대 랜덤화(MAB) 설정으로 모델링하기 위해.
• 보상 없이도 정답이 알려진 골드 태스크를 활용하여, 시간이 지남에 따라 작업자 선호도와 신뢰성을 추정하는 학습 메커니즘을 개발하기 위해.
• 골드 태스크를 사용한 탐색과 비골드 태스크 할당을 효율적으로 균형 잡는 전략을 설계하고 평가하기 위해.
• 제안된 전략이 최적의 손실 순서 $O(\sqrt{n})$를 달성하고, 누적 보상과 손실 측면에서 기준 대비 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 보상이 관측 불가능한 상황에서, 손잡이가 태스크 카테고리에 대응하는 다손대 랜덤화 문제로 태스크 추천 문제를 수립한다.
• 정답이 알려져 있지만 보상이 없는 골드 태스크를 도입하여, 작업자 선호도와 신뢰성을 추정하는 피드백 메커니즘으로 활용한다.
• 골드 태스크 결과를 기반으로 태스크 카테고리 성능의 경험적 평균을 추정하여 기대 보상을 유추하며, 추정 정확도는 사용된 골드 태스크 수에 따라 달라진다.
• 세 가지 전략인 균일한 무작위(UR), 보상이 있는 탐욕 전략(GR), $\epsilon$-first를 제안하며, 각 전략은 탐색-이득 균형을 고려해 카테고리별 골드 태스크 수를 결정한다.
• 이론적 경계를 사용하여 손실을 분석하고, 최적의 손실 순서가 $O(\sqrt{n})$임을 입증하며, 여기서 $n$은 추천된 태스크 수이다.
• 다양한 파라미터($K$, $\alpha$, $\min_{k\neq*}\Delta_k$)를 가진 시뮬레이션 실험을 통해 다양한 설정과 전략 변형에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 보상이 관측 불가능한 상황에서, 다손대 랜덤화 프레임워크가 작업자 선호도와 신뢰성을 효과적으로 학습할 수 있는가?
• RQ2 골드 태스크를 전략적으로 활용하여 보상 수령에 영향을 주지 않고도 작업자 성능을 추정하고 태스크 추천을 안내할 수 있는가?
• RQ3 이 관측 불가능한 보상 설정에서 태스크 추천의 최적 손실 순서는 무엇이며, 실용적인 전략이 이를 달성할 수 있는가?
• RQ4 다양한 조건에서 균일한 무작위, 탐욕 전략, $\epsilon$-first 전략 간의 누적 보상과 손실 측면에서의 성능 비교는 어떻게 되는가?
• RQ5 선호도와 신뢰성을 동시에 학습하는 것이 한 가지 요소만 학습하는 것보다 성능 향상에 기여하는가?

주요 결과

• 제안된 태스크 추천 프레임워크의 최적 손실 순서는 $O(\sqrt{n})$이며, 여기서 $n$은 추천된 태스크 수이므로 이는 이론적 성능 경계를 설정한다.
• 보상이 있는 탐욕 전략(GR)은 추정 분산을 줄이고 더 스마트한 골드 태스크 할당을 통해 누적 보상을 향상시켜 균일한 무작위(UR) 전략보다 일관되게 뛰어나다.
• 탐색 파라미터 $\alpha$의 중간 값이 GR 및 UR 전략에서 최적의 성능을 낳으며, 너무 높거나 너무 낮은 $\alpha$는 손실을 증가시킨다.
• 만약 $\min_{k\neq*}\Delta_k$가 작을 경우(즉, 최상의 태스크 카테고리가 다른 것과 구별하기 어려운 경우), GR의 평균 손실이 증가하여 식별의 어려움이 증가함을 보여준다.
• 선호도 또는 신뢰성 중 하나만 학습하는 것보다 둘 다 동시에 학습하는 것이 훨씬 높은 누적 보상을 제공하며, 시간이 지남에 따라 성능 격차가 더욱 벌어진다.