[論文レビュー] Error Rate Bounds in Crowdsourcing Models

Hong-Wei Li, Bin Yu+1 more|arXiv (Cornell University)|Jul 10, 2013

Mobile Crowdsensing and Crowdsourcing参考文献 15被引用数 17

ひとこと要約

本稿は、Dawid-Skeneクラウドソーシングモデル下でのハイパーサーフェス二値ラベル付けルールに対して、有限標本における指数的誤差率バウンドを導出する。その結果、オラクルMAP（最大後確信度）ルールが平均誤差率の上界を近似的に最小化することを示している。また、データ駆動型の1ステップ加重多数決投票（WMV）ルールを提案し、これがオラクルMAPを理論的に近似し、誤差率を有界に保つことを保証する。シミュレーションおよび画像・テキストラベリングタスクにおける実データを用いた検証により、有効性が裏付けられている。

ABSTRACT

Crowdsourcing is an effective tool for human-powered computation on many tasks challenging for computers. In this paper, we provide finite-sample exponential bounds on the error rate (in probability and in expectation) of hyperplane binary labeling rules under the Dawid-Skene crowdsourcing model. The bounds can be applied to analyze many common prediction methods, including the majority voting and weighted majority voting. These bound results could be useful for controlling the error rate and designing better algorithms. We show that the oracle Maximum A Posterior (MAP) rule approximately optimizes our upper bound on the mean error rate for any hyperplane binary labeling rule, and propose a simple data-driven weighted majority voting (WMV) rule (called one-step WMV) that attempts to approximate the oracle MAP and has a provable theoretical guarantee on the error rate. Moreover, we use simulated and real data to demonstrate that the data-driven EM-MAP rule is a good approximation to the oracle MAP rule, and to demonstrate that the mean error rate of the data-driven EM-MAP rule is also bounded by the mean error rate bound of the oracle MAP rule with estimated parameters plugging into the bound.

研究の動機と目的

• Dawid-Skeneモデル下でのクラウドソーシングにおける一般化されたハイパーサーフェス二値ラベル付けルールの有限標本誤差率バウンドを提供すること。
• オラクルMAPルールの理論的性能と、データ駆動型手法によるその近似の分析。
• Dawid-Skeneモデル下で理論的誤差率保証を持つ加重多数決投票ルールの設計。
• EM-MAPルールがオラクルMAPをどれほどよく近似するか、およびその誤差率が理論的上界によって有界であるかの検証。
• 多数決投票を超えた、より洗練された加重集約ルールへの誤差率分析の拡張。

提案手法

• Dawid-Skeneモデル下でのハイパーサーフェス二値ラベル付けルールに対して、確率的および期待値の両方における誤差率の指数的上界を導出する。
• 平均誤差率バウンドを最適化することで、オラクルMAPルールに近いルールが得られることを示す。
• 多数決投票から得た作業者正確度の推定値を用いてラベルを重みづけする1ステップWMVルールを提案し、理論的誤差率保証を達成する。
• 観測されたラベルから作業者の誤分類行列とラベル正確度を推定するためにEMアルゴリズムを用い、データ駆動型ルールの構築を可能にする。
• オラクルMAPバウンドに推定された作業者パラメータを組み込み、EM-MAPルールに適用可能なプラグイン上界を生成する。
• 対称Dawid-Skeneモデル下での合成シミュレーションと、テキスト entailment データセットからの実世界データの両方を用いて結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 Dawid-Skeneクラウドソーシングモデル下で、一般化されたハイパーサーフェス二値ラベル付けルールに対して有限標本誤差率バウンドを導出可能か？
• RQ2 オラクルMAPルールは、任意のハイパーサーフェスルールに対して、平均誤差率の上界を近似的に最小化するか？
• RQ3 データ駆動型の加重多数決投票ルールを設計し、誤差率を理論的に有界に保ちつつ、オラクルMAPを近似可能か？
• RQ4 実際のシナリオにおいて、EM-MAPルールはオラクルMAPルールをどれほどよく近似するか？ また、その誤差率は理論的上界によって有界か？
• RQ5 オラクルMAPルールから導出されたプラグイン上界は、EM-MAPのような実世界データ駆動型ルールに効果的に適用可能か？

主な発見

• Dawid-Skeneモデル下で、任意のハイパーサーフェス二値ラベル付けルールに対して、オラクルMAPルールが平均誤差率の上界を近似的に最小化する。
• 提案された1ステップWMVルールは、理論的誤差率保証を達成し、作業者正確度が向上するにつれて多数決投票を上回る性能を示す。
• シミュレーションおよび実世界の設定の両方で、EM-MAPルールはオラクルMAPルールをよく近似しており、平均作業者正確度がランダム推測を上回る場合に顕著である。
• オラクルMAPルールから導出したプラグイン上界は、推定パラメータを組み込むことで、EM-MAPルールの誤差率を効果的に有界に保つ。
• シミュレーションでは、1ステップWMVの誤差率と理論的上界の両方が「クロス」現象を示し、作業者正確度が向上するにつれてWMVが多数決投票を上回る。
• テキスト entailment タスクの実データでは、サンプリング率が増加するに従い、MAPプラグイン上界がEM-MAPルールの実際の誤差率をよく追跡する。