[論文レビュー] Cheaper and Better: Selecting Good Workers for Crowdsourcing

Hong-Wei Li, Qiang Liu|arXiv (Cornell University)|Feb 3, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 18被引用数 11

ひとこと要約

本稿では、予算制約のもとでラベル付けの正確性を最大化するために、信頼性の高い作業者から最小限のサブセットを選択する組み合わせ最適化手法を提案する。誤差率の上界を不偏推定量を用いて最小化することで、標準的なトップ-Kアプローチよりも少ない上位ランクの作業者を選択し、コストを削減しながら同等または優れた性能を達成する。

ABSTRACT

Crowdsourcing provides a popular paradigm for data collection at scale. We study the problem of selecting subsets of workers from a given worker pool to maximize the accuracy under a budget constraint. One natural question is whether we should hire as many workers as the budget allows, or restrict on a small number of top-quality workers. By theoretically analyzing the error rate of a typical setting in crowdsourcing, we frame the worker selection problem into a combinatorial optimization problem and propose an algorithm to solve it efficiently. Empirical results on both simulated and real-world datasets show that our algorithm is able to select a small number of high-quality workers, and performs as good as, sometimes even better than, the much larger crowds as the budget allows.

研究の動機と目的

• クラウドソーシングにおいて、作業者を増やすことで常にラベル付けの正確性が向上するかどうかを検証すること。
• 固定された予算制限のもとで、使用する作業者の数を最小限に抑えながら正確性を最大化する作業者サブセットを特定すること。
• 事前に指定された信頼性の閾値やノイズの多い推定器に依存しない手法を開発すること。
• 組み合わせ最適化フレームワークを用いて、誤差率の上界を最小化することで作業者選定を最適化すること。
• 戦略的に選択された少数の高品質作業者であれば、大規模なクラウドよりも優れた性能を発揮できることを示すこと。

提案手法

• 予測誤差率の上界を最小化する組み合わせ最適化問題として作業者選定問題を定式化する。
• 作業者の信頼性を推定するために、線形または対数比重み関数を用いた重み付き多数決投票（WMV）集約手法を用いる。
• 最適化の目的関数が真の性能の分布を的確に反映するように、誤差率の不偏推定量を用いる。
• 信頼性推定のロバスト性を維持するために、対称的な信頼区間の保証を適用する。
• 最大K人の作業者に制限された条件下で、誤差率が最小となる作業者サブセットを全球的に最適化するアルゴリズムを導出する。
• ノイズの多い信頼性推定に過剰適合しない、信頼区間に基づく選択戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 上位品質の作業者を少数選択することで、平均的または低品質な作業者を多数使用する場合と比較して、より高い正確性が得られるか？
• RQ2 組み合わせ最適化アプローチは、正確性とコスト効率の面で、標準的なトップ-K選定戦略を上回ることができるか？
• RQ3 重み関数の選択（線形対数比）が、集約プロセスの安定性と性能に与える影響は何か？
• RQ4 トップ-K作業者を対象としたEMベースの集約では、Kが増加するにつれてなぜ性能が低下するのか？
• RQ5 誤差率の不偏推定量を用いることで、バイアスのあるプラグイン推定量よりも優れた作業者選定が可能になるか？

主な発見

• 提案手法は、常にK人未満の作業者を選択する。具体的には、解消化データセットでは通常6人未満、bluebirdデータセットでは9人未満の作業者を選択し、トップ-K選定と同等または優れた正確性を達成する。
• 線形重みを用いたWMVは、対数比重みを用いたWMVよりも優れる。これは、特にゴールドクエスチョンの数が少ない場合に、極端な信頼性推定による不安定性が低減されるためである。
• トップ-K作業者に対するEMベースの集約は、Kが増加するにつれて性能が低下する。これは、信頼性が低い作業者が含まれるようになり、信頼性推定プロセスが混乱するためである。
• 誤差率の不偏推定量を用いることで、バイアスのあるプラグイン推定量よりも著しく優れた性能が得られ、実験結果でも確認されている。
• 実世界のデータセット（解消化およびbluebird）の両方において、選択された作業者の性能は、作業者数を大幅に削減しても、大規模なクラウドと同等またはそれ以上の性能を発揮する。
• 精度を損なわずコスト削減を実現しており、最適化された選択がなされれば、作業者選定において品質が量よりも優位であることが示された。