[논문 리뷰] An Incentive Compatible Multi-Armed-Bandit Crowdsourcing Mechanism with Quality Assurance

Shweta Jain, Sujit Gujar외 3명|arXiv (Cornell University)|2014. 06. 27.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 4

한 줄 요약

이 논문은 실시간으로 작업자 품질과 비용을 학습하면서도 인프런스드 이진 레이블링 작업에서 목표 정확도 수준을 보장하는 인centive-compatible 다중 손잡이 밴딧 메커니즘 CCB-S를 제안한다. 제약 조건이 붙은 신뢰 구간과 사후 단조성 할당 규칙을 통합함으로써 진실성과 개인적 합리성을 보장하며, 이론적 경계를 갖는 비최적 선택에 대해 비용 최적화된 정확도를 달성한다.

ABSTRACT

Consider a requester who wishes to crowdsource a series of identical binary labeling tasks to a pool of workers so as to achieve an assured accuracy for each task, in a cost optimal way. The workers are heterogeneous with unknown but fixed qualities and their costs are private. The problem is to select for each task an optimal subset of workers so that the outcome obtained from the selected workers guarantees a target accuracy level. The problem is a challenging one even in a non strategic setting since the accuracy of aggregated label depends on unknown qualities. We develop a novel multi-armed bandit (MAB) mechanism for solving this problem. First, we propose a framework, Assured Accuracy Bandit (AAB), which leads to an MAB algorithm, Constrained Confidence Bound for a Non Strategic setting (CCB-NS). We derive an upper bound on the number of time steps the algorithm chooses a sub-optimal set that depends on the target accuracy level and true qualities. A more challenging situation arises when the requester not only has to learn the qualities of the workers but also elicit their true costs. We modify the CCB-NS algorithm to obtain an adaptive exploration separated algorithm which we call { \em Constrained Confidence Bound for a Strategic setting (CCB-S)}. CCB-S algorithm produces an ex-post monotone allocation rule and thus can be transformed into an ex-post incentive compatible and ex-post individually rational mechanism that learns the qualities of the workers and guarantees a given target accuracy level in a cost optimal way. We provide a lower bound on the number of times any algorithm should select a sub-optimal set and we see that the lower bound matches our upper bound upto a constant factor. We provide insights on the practical implementation of this framework through an illustrative example and we show the efficacy of our algorithms through simulations.

연구 동기 및 목표

• 목표 정확도 수준을 보장하면서 이진 레이블링 작업에 최적의 작업자 서브셋을 선택하는 메커니즘을 설계하는 것.
• 작업자 품질이 미리 알려지지 않았고 비용이 비공개인 전략적 환경에서의 과제를 해결하는 것.
• 학습 과정에서 작업자 품질과 비용을 동시에 학습하면서도 사후 인센티브 호환성과 개인적 합리성을 확보하는 메커니즘을 개발하는 것.
• 학습 과정에서 비최적의 작업자 세트 선택 횟수에 대한 이론적 경계를 제공하는 것.
• 적응적 탐색과 이용을 통해 정확도 제약 조건 하에서 비용 최적화를 보장하는 것.

제안 방법

• 비용, 정확도, 작업자 품질 학습 간의 트레이드오���을 모델링하기 위해 확보된 정확도 밴딧(AAB) 프레임워크를 제안한다.
• 정확도 제약 조건 하에서 탐색과 이용을 균형 있게 조절하기 위해 제약 조건이 붙은 신뢰 구간을 사용하는 비전략적 MAB 알고리즘인 CCB-NS를 개발한다.
• CCB-NS를 사후 단조성 할당 규칙을 갖는 적응적 탐색 분리 알고리즘 CCB-S로 변형하여 인센티브 호환성을 보장한다.
• 할당 구조에서 유도된 지불 규칙을 사용하여 CCB-S를 사후 인센티브 호환성과 개인적 합리성 메커니즘으로 전환한다.
• 목표 정확도 $1 - \beta$의 신뢰 구간을 사용하고, $1 - \beta + \theta$에서 하한을 점검하여 제약 위반을 방지한다.
• 안전성 확보와 비최적 라운드 감소를 위해, 목표 정확도($1 - \beta$)에서의 타당성 검증을 위해 더 높은 정확도($1 - \beta + \theta$)에서 최적화 문제를 해결하는 전략을 채택한다.

실험 결과

연구 질문

• RQ1 어떻게 메커니즘이 인프런스드에서 알려지지 않은 작업자 품질과 비공개 비용을 학습하면서도 목표 정확도 수준을 보장할 수 있는가?
• RQ2 정확도 제약 조건 하에서 비최적의 작업자 세트가 선택되는 횟수에 대한 이론적 경계는 무엇인가?
• RQ3 비공개 비용이 존재하는 전략적 환경에서 인센티브 호환성과 개인적 합리성을 동시에 확보할 수 있는 다중 손잡이 밴딧 메커니즘을 설계할 수 있는가?
• RQ4 제안된 메커니즘의 수렴 행동은 동일한 정확도 및 비용 제약 조건 하에서 기준 알고리즘인 εt-greedy와 비교하여 어떻게 다른가?
• RQ5 예를 들어 더 높은 정확도에서 최적화 문제를 해결하는 소프트 제약 전략이 비최적 라운드 수와 총 비용에 어떤 영향을 미치는가?

주요 결과

• CCB-S 알고리즘은 학습 과정에서 유도된 사후 단조성 할당 규칙을 사용함으로써 사후 인센티브 호환성과 개인적 합리성을 보장한다.
• 비최적 선택에 대한 상한 경계는 $\frac{1}{(h^{-1}(\Delta))^2} \ln\left(\frac{2n}{\mu}\right)$ 스케일을 보이며, 상수 요소를 제외한 이론적 하한 경계와 일치한다.
• 시뮬레이션 결과 CCB-NS는 εt-greedy보다 수렴 속도가 빠르며, CCB-SE는 몇 차례 반복 이내에 총 비용을 크게 감소시킨다.
• T = 10^4개의 작업과 1100명의 작업자 조건에서, 모든 알고리즘이 1200번 이상의 시뮬레이션 런에서 정확도 제약 조건을 위반하지 않았다.
• 최적화 문제를 $1 - \alpha + \xi$에서 해결하면서도 $1 - \alpha$에서의 타당성 검증을 수행하는 전략은 비최적 라운드를 $\min\left(\frac{1}{16(h^{-1}(\xi))^{2}}\ln\left(\frac{2n}{\mu}\right), \frac{2}{(h^{-1}(\Delta))^{2}}\ln\left(\frac{2n}{\mu}\right)\right)$로 제한한다.
• 그림 4에서 보듯이, CCB-NS는 작업자 수가 적을 때조차 εt-greedy보다 비용 효율성이 뛰어나며, 이는 작업자 풀 크기 변화에 대해 강건함을 시사한다.