[論文レビュー] An Incentive Compatible Multi-Armed-Bandit Crowdsourcing Mechanism with Quality Assurance

Shweta Jain, Sujit Gujar+3 more|arXiv (Cornell University)|Jun 27, 2014

Advanced Bandit Algorithms Research参考文献 31被引用数 4

ひとこと要約

本稿では、クラウドソーシングにおける2値ラベリングタスクにおいて、作業者の質とコストをリアルタイムで学習しながら、所定の正確性水準を保証するインcentive-compatibleなマルチアームバンディットメカニズム、CCB-Sを提案する。制約付き信頼区間と事後単調な割り当てルールを統合することで、真実性と個別合理性を確保し、理論的境界を伴うコスト最適化された正確性を達成する。

ABSTRACT

Consider a requester who wishes to crowdsource a series of identical binary labeling tasks to a pool of workers so as to achieve an assured accuracy for each task, in a cost optimal way. The workers are heterogeneous with unknown but fixed qualities and their costs are private. The problem is to select for each task an optimal subset of workers so that the outcome obtained from the selected workers guarantees a target accuracy level. The problem is a challenging one even in a non strategic setting since the accuracy of aggregated label depends on unknown qualities. We develop a novel multi-armed bandit (MAB) mechanism for solving this problem. First, we propose a framework, Assured Accuracy Bandit (AAB), which leads to an MAB algorithm, Constrained Confidence Bound for a Non Strategic setting (CCB-NS). We derive an upper bound on the number of time steps the algorithm chooses a sub-optimal set that depends on the target accuracy level and true qualities. A more challenging situation arises when the requester not only has to learn the qualities of the workers but also elicit their true costs. We modify the CCB-NS algorithm to obtain an adaptive exploration separated algorithm which we call { \em Constrained Confidence Bound for a Strategic setting (CCB-S)}. CCB-S algorithm produces an ex-post monotone allocation rule and thus can be transformed into an ex-post incentive compatible and ex-post individually rational mechanism that learns the qualities of the workers and guarantees a given target accuracy level in a cost optimal way. We provide a lower bound on the number of times any algorithm should select a sub-optimal set and we see that the lower bound matches our upper bound upto a constant factor. We provide insights on the practical implementation of this framework through an illustrative example and we show the efficacy of our algorithms through simulations.

研究の動機と目的

• 所定の正確性水準を保証しつつ、2値ラベリングタスクに最適な作業者サブセットを選択するメカニズムを設計すること。
• 作業者の質が未知で、コストが非公開である戦略的状況において、作業者が虚偽の報告を行うという課題に対処すること。
• 作業者の質とコストを学習しつつ、事後インcentive-compatibleかつ個別合理的なメカニズムを開発すること。
• 学習中に非最適な作業者セットが選択される回数の理論的境界を提供すること。
• 適応的探索と活用を通じて、正確性制約下でのコスト最適化を実現すること。

提案手法

• コスト、正確性、作業者質の学習のトレードオフをモデル化するための保証された正確性バンディット（AAB）フレームワークを提案する。
• 制約付き信頼区間を用いた非戦略的MABアルゴリズムCCB-NSを構築し、正確性制約下での探索と活用のバランスを図る。
• CCB-NSをCCB-Sに変換し、事後単調な割り当てルールを備えた適応的探索分離型アルゴリズムとして実装し、インcentive-compatibleを確保する。
• 割り当て構造から導かれる支払いルールを用いて、CCB-Sを事後インcentive-compatibleかつ個別合理的なメカニズムに変換する。
• 所定の正確性 $1 - \beta$ の信頼区間を用い、$1 - \beta + \theta$ での下限を確認することで、制約違反を回避する。
• 安全性を確保し、非最適ラウンドを削減するために、より高い正確性（$1 - \beta + \theta$）で最適化を解き、所定の正確性（$1 - \beta$）で実行可能性を検証する戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングにおいて、作業者の質と非公開コストが未知である状況で、所定の正確性水準を保証しつつ、それらを学習できるメカニズムはどのように設計できるか？
• RQ2 正確性制約下で、非最適な作業者セットが選択される回数の理論的境界は何か？
• RQ3 プライベートコストを伴う戦略的状況において、マルチアームバンディットメカニズムをインcentive-compatibleかつ個別合理的に設計できるか？
• RQ4 同じ正確性およびコスト制約下で、CCB-Sの収束行動はεt-greedyなどのベースラインアルゴリズムと比べてどのように異なるか？
• RQ5 ソフト制約戦略（例：より高い正確性で最適化を解く）は、非最適ラウンド数と総コストにどのような影響を与えるか？

主な発見

• CCB-Sアルゴリズムは、学習プロセスから導かれる事後単調な割り当てルールを用いることで、事後インcentive-compatibleかつ個別合理的であることを保証する。
• 非最適選択の上界は $\frac{1}{(h^{-1}(\Delta))^2} \ln\left(\frac{2n}{\mu}\right)$ に比例し、定数因子を除いて理論的下界と一致する。
• シミュレーションでは、CCB-NSがεt-greedyよりも収束が速く、CCB-SEは数回の反復内で総コストを顕著に削減することが示された。
• T = 10^4 件のタスクと1100名の作業者を想定した場合、すべてのアルゴリズムが1200回以上のシミュレーション実行で正確性制約を守った。
• $1 - \alpha + \xi$ で最適化を解き、$1 - \alpha$ で実行可能性を確認する戦略により、非最適ラウンドは $\min\left(\frac{1}{16(h^{-1}(\xi))^{2}}\ln\left(\frac{2n}{\mu}\right), \frac{2}{(h^{-1}(\Delta))^{2}}\ln\left(\frac{2n}{\mu}\right)\right)$ に制限される。
• 図4に示すように、CCB-NSは作業者数が少ない場合でもεt-greedyをコスト効率面で上回り、作業者プールサイズに強く依存しないという特徴を示している。