[논문 리뷰] Bayesian Decision Process for Cost-Efficient Dynamic Ranking via Crowdsourcing

Xi Chen, Kevin Jiao외 1명|arXiv (Cornell University)|2016. 12. 21.

Mobile Crowdsensing and Crowdsourcing참고 문헌 59인용 수 3

한 줄 요약

이 논문은 예산 제약 조건 하에서 노동자와 항목 쌍 선택을 최적화하기 위해 지식 기반 경향과 모멘트 매칭을 사용하는 베이지안 마르코프 결정 과정을 제안한다. 이는 비용 효율적인 동적 랭킹을 위한 컨소시엄 쌍 비교에서 높은 랭킹 정확도를 달성하면서 기존 방법에 비해 상당히 낮은 레이블링 비용을 기록한다.

ABSTRACT

Rank aggregation based on pairwise comparisons over a set of items has a wide range of applications. Although considerable research has been devoted to the development of rank aggregation algorithms, one basic question is how to efficiently collect a large amount of high-quality pairwise comparisons for the ranking purpose. Because of the advent of many crowdsourcing services, a crowd of workers are often hired to conduct pairwise comparisons with a small monetary reward for each pair they compare. Since different workers have different levels of reliability and different pairs have different levels of ambiguity, it is desirable to wisely allocate the limited budget for comparisons among the pairs of items and workers so that the global ranking can be accurately inferred from the comparison results. To this end, we model the active sampling problem in crowdsourced ranking as a Bayesian Markov decision process, which dynamically selects item pairs and workers to improve the ranking accuracy under a budget constraint. We further develop a computationally efficient sampling policy based on knowledge gradient as well as a moment matching technique for posterior approximation. Experimental evaluations on both synthetic and real data show that the proposed policy achieves high ranking accuracy with a lower labeling cost.

연구 동기 및 목표

• 제한된 예산을 효율적으로 할당하여 정확한 글로벌 랭킹을 달성하는 데 있어 컨소시엄 쌍 비교의 도전 과제를 해결하기 위해.
• 샘플링 결정을 이끄는 데 동적으로 노동자 신뢰성과 쌍의 모호함을 모델링하기 위해.
• 활동 학습을 통해 레이블링 비용을 최소화하면서 랭킹 정확도를 극대화하기 위해.
• 탐색과 이용의 균형을 이루는 계산 효율적인 정책을 개발하기 위해.
• 불확실성 하에서 사후 추론과 의사결정을 체계적으로 접근하기 위한 베이지안 접근법을 제공하기 위해.

제안 방법

• 활동적 샘플링 문제를 순차적으로 항목 쌍과 노동자를 선택하기 위한 베이지안 마르코프 결정 과정으로 모델링한다.
• 랭킹 정확도 향상의 기대치를 극대화하는 데 초점을 맞춘 지식 기반 경향 기반 샘플링 정책을 적용한다.
• 노동자 신뢰성과 항목 점수의 효율적 사후 근사화를 위해 모멘트 매칭을 사용한다.
• 노동자 정확도와 항목 선호도에 대한 계층적 사전분포를 포함한 브래드리-털리-루크 모델을 통합한다.
• 노동자 신뢰성과 항목 점수의 폐쇄형 사후 업데이트를 가능하게 하기 위해 베타 및 딜레르트 콘jugate 사전분포를 적용한다.
• 사후 기대치를 사용하여 쌍 비교 결과의 기대 보상과 분산에 대한 분석적 표현을 유도한다.

실험 결과

연구 질문

• RQ1 제한된 예산을 항목 쌍과 노동자 간에 어떻게 최적으로 할당하여 컨소시엄 쌍 비교에서 랭킹 정확도를 극대화할 수 있는가?
• RQ2 신뢰할 수 없는 노동자와 모호한 쌍이 존재하는 상황에서 레이블링 비용을 최소화하면서도 높은 정확도를 유지하는 샘플링 정책은 무엇인가?
• RQ3 예산 제약 조건 하에서 베이지안 추론을 통해 노동자 신뢰성과 항목 선호도에 대한 믿음을 어떻게 동적으로 업데이트할 수 있는가?
• RQ4 지식 기반 경향은 랜덤 또는 균일 샘플링에 비해 얼마나 뛰어난 성능을 보이는가?
• RQ5 대규모 랭킹 작업에서 전체 사후 샘플링에 대한 계산 효율적인 대안으로서 모멘트 매칭이 얼마나 효과적인가?

주요 결과

• 제안된 지식 기반 경향 정책은 무작위 샘플링 및 균일 할당과 같은 기준 방법에 비해 상당히 높은 랭킹 정확도를 달성한다.
• 실제 데이터셋과 시뮬레이션 데이터셋에서 균일 샘플링 대비 최대 40%까지 레이블링 비용을 절감하면서도 랭킹 품질을 유지하거나 향상시킨다.
• 모멘트 매칭은 랭킹 정확도에서 전체 추론과 매우 유사한 계산 효율적인 사후 근사화를 제공한다.
• 베이지안 프레임워크는 적응적 샘플링을 통해 신뢰할 수 없는 노동자와 모호한 쌍을 성공적으로 식별하여 전체 추론의 안정성을 향상시킨다.
• 독서 난이도 평가와 같은 실제 데이터에 대한 실험 결과는 이 방법이 실용적이고 세밀한 랭킹 응용 분야에서 효과적임을 확인한다.
• 이 방법은 노동자 신뢰성과 쌍의 모호함 수준이 다양할 경우에도 비적응 전략에 비해 뛰어난 성능을 보이며 강건성을 입증한다.