[论文解读] An Incentive Compatible Multi-Armed-Bandit Crowdsourcing Mechanism with Quality Assurance

Shweta Jain, Sujit Gujar+3 more|arXiv (Cornell University)|Jun 27, 2014

Advanced Bandit Algorithms Research参考文献 31被引用 4

一句话总结

本文提出了一种激励相容的多臂赌博机机制 CCB-S，可在众包二值标注任务中实时学习工作者的质量和成本，同时保证目标准确率水平。通过将约束置信区间与事后单调分配规则相结合，该机制确保了真实性与个体理性，实现了成本优化的准确率，并对次优选择次数提供了理论边界。

ABSTRACT

Consider a requester who wishes to crowdsource a series of identical binary labeling tasks to a pool of workers so as to achieve an assured accuracy for each task, in a cost optimal way. The workers are heterogeneous with unknown but fixed qualities and their costs are private. The problem is to select for each task an optimal subset of workers so that the outcome obtained from the selected workers guarantees a target accuracy level. The problem is a challenging one even in a non strategic setting since the accuracy of aggregated label depends on unknown qualities. We develop a novel multi-armed bandit (MAB) mechanism for solving this problem. First, we propose a framework, Assured Accuracy Bandit (AAB), which leads to an MAB algorithm, Constrained Confidence Bound for a Non Strategic setting (CCB-NS). We derive an upper bound on the number of time steps the algorithm chooses a sub-optimal set that depends on the target accuracy level and true qualities. A more challenging situation arises when the requester not only has to learn the qualities of the workers but also elicit their true costs. We modify the CCB-NS algorithm to obtain an adaptive exploration separated algorithm which we call { \em Constrained Confidence Bound for a Strategic setting (CCB-S)}. CCB-S algorithm produces an ex-post monotone allocation rule and thus can be transformed into an ex-post incentive compatible and ex-post individually rational mechanism that learns the qualities of the workers and guarantees a given target accuracy level in a cost optimal way. We provide a lower bound on the number of times any algorithm should select a sub-optimal set and we see that the lower bound matches our upper bound upto a constant factor. We provide insights on the practical implementation of this framework through an illustrative example and we show the efficacy of our algorithms through simulations.

研究动机与目标

• 设计一种机制，可在保证目标准确率水平的前提下，为二值标注任务选择最优的工作者子集。
• 解决在战略环境中工作者质量未知且成本私密时，工作者可能虚报的问题。
• 开发一种机制，既满足事后激励相容性，又满足个体理性，同时学习工作者的质量与成本。
• 为学习过程中次优工作者集合被选择的次数提供理论边界。
• 通过自适应探索与利用，在准确率约束下实现成本最优。

提出的方法

• 提出保证准确率赌博机（AAB）框架，以建模成本、准确率与工作者质量学习之间的权衡。
• 设计 CCB-NS，一种非策略性多臂赌博机算法，利用约束置信区间在准确率约束下平衡探索与利用。
• 将 CCB-NS 改进为 CCB-S，一种探索与利用分离的自适应算法，采用事后单调分配规则以确保激励相容性。
• 通过基于分配结构推导的支付规则，将 CCB-S 转化为事后激励相容且个体理性的机制。
• 使用置信区间，目标准确率为 $1 - \beta$，并在 $1 - \beta + \theta$ 处检查下界，以防止违反约束。
• 采用策略：在更高准确率（$1 - \beta + \theta$）下求解优化问题，同时在目标准确率（$1 - \beta$）处验证可行性，以确保安全性并减少次优轮次。

实验结果

研究问题

• RQ1 如何在众包中学习未知的工作者质量与私密成本，同时保证目标准确率？
• RQ2 在准确率约束下，次优工作者集合被选择的次数的理论边界是什么？
• RQ3 能否设计一种多臂赌博机机制，使其在具有私密成本的战略环境中同时具备激励相容性与个体理性？
• RQ4 所提机制的收敛行为与基线算法（如 εt-greedy）相比，在相同准确率与成本约束下如何？
• RQ5 采用软约束策略（例如在更高准确率下求解）对次优轮次数量与总体成本有何影响？

主要发现

• CCB-S 算法通过基于学习过程推导的事后单调分配规则，确保了事后激励相容性与个体理性。
• 次优选择次数的上界与 $\frac{1}{(h^{-1}(\Delta))^2} \ln\left(\frac{2n}{\mu}\right)$ 成比例，与理论下界仅相差一个常数因子。
• 仿真结果表明，CCB-NS 的收敛速度优于 εt-greedy，且 CCB-SE 在少数几次迭代内显著降低了总成本。
• 在 $T = 10^4$ 个任务与 1100 名工作者的设置下，所有算法在超过 1200 次仿真运行中均保持了准确率约束，未发生违反。
• 在 $1 - \alpha + \xi$ 处求解优化问题，同时在 $1 - \alpha$ 处验证可行性，可将非最优轮次限制在 $\min\left(\frac{1}{16(h^{-1}(\xi))^{2}}\ln\left(\frac{2n}{\mu}\right), \frac{2}{(h^{-1}(\Delta))^{2}}\ln\left(\frac{2n}{\mu}\right)\right)$ 以内。
• 如图 4 所示，即使在工作者数量较少的情况下，CCB-NS 在成本效率方面仍优于 εt-greedy，表明其对工作者池大小具有鲁棒性。