[論文レビュー] Achieving Budget-optimality with Adaptive Schemes in Crowdsourcing

Ashish Khetan, Sewoong Oh|arXiv (Cornell University)|Feb 10, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 28被引用数 29

ひとこと要約

本稿は、一般化されたDawid-Skeneモデル下で、タスクの難易度とワーカーの信頼性をリアルタイムで推定することで、動的にラベルを割り当てることで、予算最適性を達成する適応的タスク割り当て方式を提案する。適応的アプローチは非適応的アプローチを著しく上回り、同じ精度を達成するための必要予算を $\lambda / \lambda_{\text{min}}$ 倍に削減できることを示し、最小最大誤差率の限界に達する効率的なアルゴリズムを提供する。

ABSTRACT

Crowdsourcing platforms provide marketplaces where task requesters can pay to get labels on their data. Such markets have emerged recently as popular venues for collecting annotations that are crucial in training machine learning models in various applications. However, as jobs are tedious and payments are low, errors are common in such crowdsourced labels. A common strategy to overcome such noise in the answers is to add redundancy by getting multiple answers for each task and aggregating them using some methods such as majority voting. For such a system, there is a fundamental question of interest: how can we maximize the accuracy given a fixed budget on how many responses we can collect on the crowdsourcing system. We characterize this fundamental trade-off between the budget (how many answers the requester can collect in total) and the accuracy in the estimated labels. In particular, we ask whether adaptive task assignment schemes lead to a more efficient trade-off between the accuracy and the budget. Adaptive schemes, where tasks are assigned adaptively based on the data collected thus far, are widely used in practical crowdsourcing systems to efficiently use a given fixed budget. However, existing theoretical analyses of crowdsourcing systems suggest that the gain of adaptive task assignments is minimal. To bridge this gap, we investigate this question under a strictly more general probabilistic model, which has been recently introduced to model practical crowdsourced annotations. Under this generalized Dawid-Skene model, we characterize the fundamental trade-off between budget and accuracy. We introduce a novel adaptive scheme that matches this fundamental limit. We further quantify the fundamental gap between adaptive and non-adaptive schemes, by comparing the trade-off with the one for non-adaptive schemes. Our analyses confirm that the gap is significant.

研究の動機と目的

• 実用的な適応的クラウドソーシングシステムと、適応性にほとんど利益がないと示唆する理論的分析との間のギャップを埋めること。
• クラウドソーシングにおける二値分類において、予算（収集されたラベル数）と精度の根本的トレードオフを特定すること。
• 一般化されたDawid-Skeneモデル下で理論的最小最大誤差率に一致する効率的な適応的タスク割り当て方式を開発すること。
• 適応的および非適応的手法の間の根本的性能差を予算効率の観点から定量化すること。
• 先行研究よりもはるかに一般化された確率的モデルを用いて、適応的アプローチに厳密な理論的基盤を提供すること。

提案手法

• 本稿は、異種のタスク難易度とワーカー信頼性を有する一般化されたDawid-Skeneモデルを用いて、クラウドソーシングラベリングをモデル化する。
• リアルタイムでの潜在パラメータ推定に基づき、予測された難易度が高いタスクに多くのワーカーを割り当てる適応的タスク割り当て戦略を導入する。
• 収集された応答を用いて反復的にワーカー信頼性とタスク難易度を推定する効率的な推定アルゴリズムを提案し、動的再割り当てを可能にする。
• 誤差率の理論的保証を維持しながら、タスク割り当てをガイドするための線形計画法の緩和を用いる。
• 理論的分析により、適応的および非適応的アプローチの最小最大誤差率を導出し、根本的な予算格差を明らかにする。
• 中央極限定理を用いた漸近的近似に依拠し、サブガウス分布のメッセージに対する尾部バウンドを用いる。

実験結果

リサーチクエスチョン

• RQ1 適応的タスク割り当て方式は、非適応的手法に比べて、クラウドソーシングにおいて著しく優れた予算-精度トレードオフを達成できるか？
• RQ2 一般化されたDawid-Skeneモデル下で、与えられた予算に対する精度の根本的限界は何か？
• RQ3 タスク難易度とワーカー信頼性の変動に伴い、適応的および非適応的手法の性能差はどのようにスケーリングされるか？
• RQ4 理論的最小最大誤差率に一致する効率的な適応的方式を設計できるか？
• RQ5 リアルタイムでのパrameter推定は、予算効率の向上に果たす役割は何か？

主な発見

• 提案された適応的方式は最小最大誤差率に達し、根本的な予算-精度トレードオフにおいて最適であることを証明する。
• 適応的および非適応的手法の根本的格差は、$\lambda / \lambda_{\text{min}}$ で定量化され、ここで $\lambda_{\text{min}}$ は $\lambda$ よりも厳密に小さい。
• 非適応的手法は、適応的手法と同等の精度を達成するため、予算を $\lambda / \lambda_{\text{min}}$ 倍大きくする必要がある。
• 適応的方式の十分な予算条件は $\Gamma \geq C \frac{m}{\lambda_{\text{min}} \lambda \sigma^2} (\log(1/\varepsilon))^{3/2}$ であり、これは先行研究に比べて $\sqrt{\log(1/\varepsilon)}$ 倍のタイトさを示す。
• 分析により、特にタスク難易度のばらつきが大きい場合に、適応性が予算効率の向上に著しく寄与することが確認された。
• 実験結果から、アルゴリズム3におけるパrameter推定アルゴリズムは実用的に良好な性能を示すが、その理論的サンプル複雑性は未解決のままである。