[논문 리뷰] Feature Based Task Recommendation in Crowdsourcing with Implicit Observations

Habibur Rahman, Lucas Joppa외 1명|arXiv (Cornell University)|2016. 02. 10.

Mobile Crowdsensing and Crowdsourcing참고 문헌 12인용 수 7

한 줄 요약

이 논문은 음성 작업 완료 이력과 명시적 작업 특징(예: 위치)을 사용하여 시민 과학 커뮤니티 기반 커뮤니티 소싱 플랫폼을 위한 두 가지 새로운 작업 추천 모델—Feat-Based-NNLS와 IFTS—을 제안한다. 작업 특징에 대한 작업자 선호도를 모델링하고 잠재 공간 내에서 작업 유사도를 통합함으로써, 이 방법들은 기존의 기준 모델들을 크게 능가하며, Feat-Based-NNLS는 실제 eBird 데이터셋에서 5.68의 MPR 점수를 기록한다.

ABSTRACT

Existing research in crowdsourcing has investigated how to recommend tasks to workers based on which task the workers have already completed, referred to as {\em implicit feedback}. We, on the other hand, investigate the task recommendation problem, where we leverage both implicit feedback and explicit features of the task. We assume that we are given a set of workers, a set of tasks, interactions (such as the number of times a worker has completed a particular task), and the presence of explicit features of each task (such as, task location). We intend to recommend tasks to the workers by exploiting the implicit interactions, and the presence or absence of explicit features in the tasks. We formalize the problem as an optimization problem, propose two alternative problem formulations and respective solutions that exploit implicit feedback, explicit features, as well as similarity between the tasks. We compare the efficacy of our proposed solutions against multiple state-of-the-art techniques using two large scale real world datasets.

연구 동기 및 목표

• 비효율적인 작업 탐색으로 인한 높은 지연 시간과 낮은 만족도 문제를 해결하기 위해.
• 작업자-작업 상호작용(예: 완료 수)의 음성 피드백과 명시적 작업 특징(예: 위치)을 통합하여 작업 추천 정확도를 향상시키기 위해.
• 이전 완료 데이터나 명시적 평점에만 의존하는 것이 아니라, 작업 특징에 대한 작업자 선호도를 모델링하기 위해.
• 伝통적인 음성 신호 가정보다 음성 피드백을 더 효과적으로 다룰 수 있는 최적화 프레임워크를 개발하기 위해.
• 대규모 실세계 시민 과학 데이터셋(eBird)을 대상으로 엄격한 메트릭을 사용하여 제안된 모델을 평가하기 위해.

제안 방법

• 비음수 최소 제곱법을 사용하여 작업자-특징 선호도를 학습하는 특징 선호도 모델(Feat-Based-NNLS)을 수립하여, 관측된 완료 수와 예측된 완료 수 간의 가중 오차를 최소화한다.
• 높은 신뢰도를 가진 양성 신호(완료된 작업)의 영향력을 증폭하기 위해, $ q_{wi} = 1 + \beta \times c_{wi} $ 형태의 신뢰도 가중 행렬 $ Q $ 를 도입한다.
• 작업자-특징 선호도 행렬 $ X $ 에 비음수 제약 조건을 적용하여, $ \text{argmin}_X \big\| (Y^T Q^w Y + \theta I) X - Y^T Q^w P_w \big\text{^2} $ 를 교차 최적화를 통해 해결한다.
• 작업자 및 작업 잠재 요인 $ U $ 와 $ V $ 를 동시에 학습하는 잠재 요인 모델(IFTS)을 제안하며, 유사한 작업 간의 유사도를 잠재 공간에서 강제로 유사하게 만드는 정규화 항을 포함한다.
• 작업 유사도를 $ \text{sim}(t_i, t_j) = \frac{1}{1 + e^{-Y_i^T Y_j}} $ 로 정의하여, 작업 특징 행렬 $ Y $ 를 사용해 잠재 요인 정렬을 유도한다.
• 교차 최적화를 통해 $ U $ 와 $ V $ 를 해결하며, 정규화 및 유사도 제약 조건 하에서 두 행렬에 대한 폐쇄형 업데이트를 사용한다.

실험 결과

연구 질문

• RQ1 음성 피드백에만 의존하는 모델과 비교하여, 명시적 작업 특징(예: 위치)을 추천에 통합함으로써 성능 향상이 이루어지는가?
• RQ2 음성 최소 제곱법을 사용한 작업자 선호도 모델링이, 전통적인 음성 신호 가정을 기반으로 한 협업 필터링과 비교해 어떻게 우월한가?
• RQ3 잠재 요인 공간에서 유사한 작업 간의 유사도를 강제로 유사하게 만들면, 추천 정확도에 어느 정도 기여하는가?
• RQ4 제안된 모델인 Feat-Based-NNLS와 IFTS는 실세계 시민 과학 데이터에서 최첨단 기준 모델들과 비교해 어떻게 성능을 내는가?
• RQ5 왜 비관측 상호작용을 '음성'으로 간주하는 모델들이 이 맥락에서는 성능이 열악한가? 음성 피드백은 어떻게 더 잘 모델링할 수 있는가?

주요 결과

• Feat-Based-NNLS는 eBird 데이터셋에서 가장 높은 평균 백분위 순위(MPR) 점수인 5.68을 기록하여, 모든 기준 모델들을 크게 능가했다.
• 음성-ALS-Neg 기준 모델은 비관측 상호작용을 음성 선호도로 잘못 모델링하여 성능이 열악했으며(MPR = 17.3), 이는 이 맥락에서 타당하지 않았다.
• Feat-Based-Reg라는 정규화된 회귀 기준 모델은 MPR 13.706을 기록하여, 음성 피드백 전용 모델보다 명시적 특징 통합이 성능 향상에 기여함을 입증했다.
• IFTS는 MPR 6.87을 기록하여, 잠재 공간 내에서 작업 유사도를 통합함으로써 표준 잠재 요인 모델보다 추천 품질이 향상됨을 보여주었다.
• 정밀도-재현율 곡선 분석 결과, Feat-Based-NNLS는 모든 재현율 임계값에서 관련 작업을 상위 추천 목록에 더 높이 순위 매기는 경향을 지속적으로 보였다.
• $ q_{wi} $ 에서의 신뢰도 가중치 $ \beta = 50 $ 가 최적의 선택이었으며, 이는 고완료 수 신호를 과도하게 증폭시키지 않으면서도 효과적으로 증폭시켰다.