[논문 리뷰] Optimal Stopping and Worker Selection in Crowdsourcing: an Adaptive Sequential Probability Ratio Test Framework

Xiaoou Li, Yunxiao Chen외 3명|arXiv (Cornell University)|2017. 08. 28.

Mobile Crowdsensing and Crowdsourcing참고 문헌 44인용 수 4

한 줄 요약

이 논문은 예산 제약 조건 하에서 베이즈 리스크를 최소화하기 위해 워커 선택, 정지 시점, 결정 규칙을 공동 최적화하는 적응형 순차적 확률 비율 검정 프레임워크인 Ada-SPRT를 제안한다. RTE에서는 최대 가능 정확도의 99%, Bird에서는 96%에 가까운 레이블링 정확도를 달성하면서 총 레이블의 30–43%만을 사용하여 기존 최고 수준의 방법들인 KG 및 Opt-KG를 능가한다.

ABSTRACT

In this paper, we aim at solving a class of multiple testing problems under the Bayesian sequential decision framework. Our motivating application comes from binary labeling tasks in crowdsourcing, where the requestor needs to simultaneously decide which worker to choose to provide the label and when to stop collecting labels under a certain budget constraint. We start with the binary hypothesis testing problem to determine the true label of a single object, and provide an optimal solution by casting it under the adaptive sequential probability ratio test (Ada-SPRT) framework. We characterize the structure of the optimal solution, i.e., optimal adaptive sequential design, which minimizes the Bayes risk through log-likelihood ratio statistic. We also develop a dynamic programming algorithm that can efficiently approximate the optimal solution. For the multiple testing problem, we further propose to adopt an empirical Bayes approach for estimating class priors and show that our method has an averaged loss that converges to the minimal Bayes risk under the true model. The experiments on both simulated and real data show the robustness of our method and its superiority in labeling accuracy as compared to several other recently proposed approaches.

연구 동기 및 목표

• 비용 제약 조건이 있는 워크셔잉 레이블링 작업에서 워커 선택과 최적의 정지 시점이라는 이중 과제를 해결하기 위해.
• 순차적 베이지안 프레임워크 하에서 정지 시점, 워커 선택, 결정 규칙을 공동 최적화하여 베이즈 리스크를 최소화하기 위해.
• 실세계 워크셔잉 환경에서 알려지지 않은 클래스 사전 확률과 워커의 품질에 적응할 수 있는 강건한 방법을 개발하기 위해.
• 이질적인 워커를 고려하여 고전적 SPRT를 적응형 실험 설계를 통합함으로써 확장하기 위해.
• 기존의 접근 방식들인 KG 및 Opt-KG와 비교하여 레이블링 정확도와 비용 효율성 측면에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 모르는 클래스 사전 확률 π₁와 워커 신뢰도를 가진 이진 레이블링 문제를 베이지안 순차적 가설 검정 문제로 공식화한다.
• 정지 시점, 워커 선택, 결정 규칙을 로그우도비율 통계량을 통해 공동 최적화하는 적응형 순차적 확률 비율 검정(Ada-SPRT)을 적용한다.
• 절단 제약 조건(예산 제한) 하에서 최적 해를 효율적으로 근사하기 위해 동적 프ogramming을 사용한다.
• 데이터에서 클래스 사전 확률 및 워커 품질 파ameters를 추정하기 위해 EM 알고리즘을 사용하는 경험 베이지스터의 접근 방식을 활용한다.
• 워커 정확도에 대한 사전 믿음을 표현하기 위해 초수치 α=4, β=2를 사용하는 정규화된 우도 함수를 도입한다 (66.7%).
• 활동적 레이블링을 시작하기 전에 우선 추정치와 워커 품질 추정치를 초기화하기 위해 캘리브레이션 세트(각각 RTE의 첫 200개 객체, Bird의 27개 객체)를 사용한다.

실험 결과

연구 질문

• RQ1 예산 제약 조건 하에서 워커 선택과 정지 시점을 공동 최적화하여 워크셔잉 이진 레이블링에서 베이즈 리스크를 최소화할 수 있는 방법은 무엇인가?
• RQ2 지식 기반 접근 방식(KG)과 같은 이른바 '단기적' 워커 선택 정책에 비해 적응형 순차적 설계가 레이블링 정확도와 비용 효율성 측면에서 뛰어나게 작용할 수 있는가?
• RQ3 알려지지 않은 클래스 사전 확률과 워커 품질을 경험 베이지스터 접근 방식이 얼마나 잘 추정할 수 있는가?
• RQ4 전체 레이블 기반 기준 대비 Ada-SPRT의 레이블링 정확도 향상과 레이블 수 감소에 기여하는 성능 향상은 어느 정도인가?
• RQ5 다양한 레이블 비용과 데이터 분포에 대해 Ada-SPRT는 얼마나 강건한가?

주요 결과

• RTE 데이터셋에서 Ada-SPRT는 총 8,000개의 레이블 중 3,438개(43%)만을 사용하여 92.1%의 레이블링 정확도를 달성했으며, 이는 최대 가능 정확도의 99%에 해당한다.
• Bird 데이터셋에서는 4,212개의 총 레이블 중 1,253개(30%)를 사용하여 85.7%의 정확도를 기록했으며, 이는 최대 가능 정확도의 96%에 해당한다.
• 두 데이터셋 모두에서 KG(86.1%) 및 Opt-KG(82.2%)보다 평균 정확도가 높고, 더 적은 레이블을 사용하여 뚜렷한 승리를 거두었다.
• RTE에서는 비용 매개변수 c에 따라 1개 객체당 평균 정지 시간이 2.4–4.4로 감소하였고, Bird에서는 2.5–7.6로 감소하였다.
• EM 추정을 통한 경험 베이지스터 접근 방식은 진짜 모델 하에서 최소 베이즈 리스크로 수렴하는 평균 손실을 보장한다.
• 다양한 워커 품질 가정과 무작위 순서에 대해 높은 강건성을 유지하였으며, 정확도의 표준편차가 낮았다 (예: RTE에서 0.4%).