[論文レビュー] Error Rate Bounds and Iterative Weighted Majority Voting for Crowdsourcing

Hongwei Li, Bin Yu|arXiv (Cornell University)|Nov 15, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 26被引用数 61

ひとこと要約

本稿では、Dawid-Skeneモデル下で有限標本の誤差率バウンドを最適化する反復的加重多数決（IWMV）手法を提案する。反復的に作業者重みを最適化することでオラクルMAPルールに近づけ、従来手法と比較して最大100倍の計算コスト低減を達成しながら、最先端の精度を実現。実データおよびシミュレートデータにおいて、理論的・実験的両面で優れた性能を示した。

ABSTRACT

Crowdsourcing has become an effective and popular tool for human-powered computation to label large datasets. Since the workers can be unreliable, it is common in crowdsourcing to assign multiple workers to one task, and to aggregate the labels in order to obtain results of high quality. In this paper, we provide finite-sample exponential bounds on the error rate (in probability and in expectation) of general aggregation rules under the Dawid-Skene crowdsourcing model. The bounds are derived for multi-class labeling, and can be used to analyze many aggregation methods, including majority voting, weighted majority voting and the oracle Maximum A Posteriori (MAP) rule. We show that the oracle MAP rule approximately optimizes our upper bound on the mean error rate of weighted majority voting in certain setting. We propose an iterative weighted majority voting (IWMV) method that optimizes the error rate bound and approximates the oracle MAP rule. Its one step version has a provable theoretical guarantee on the error rate. The IWMV method is intuitive and computationally simple. Experimental results on simulated and real data show that IWMV performs at least on par with the state-of-the-art methods, and it has a much lower computational cost (around one hundred times faster) than the state-of-the-art methods.

研究の動機と目的

• Dawid-Skeneモデル下で多クラスクラウドソーシングにおける一般の集約ルールについて、確率的および期待値の観点からの有限標本誤差率バウンドを導出すること。
• 均一なDawid-Skeneモデル下で平均誤差率バウンドを最適化すると、オラクルMAP推定器に近いルールが得られることを示すこと。
• 理論的誤差率保証を伴う、反復的かつデータ駆動型の加重多数決手法（IWMV）を考案し、オラクルMAPルールを近似すること。
• EM-MAP や LPI といった最先端手法と同等またはそれ以上の性能を達成するとともに、著しく高速であることを実証すること。
• 測定可能なデータから得られる量を用いて、任意の分解可能な集約ルールの誤差率バウンドを計算する実用的フレームワークを提供すること。

提案手法

• Dawid-Skeneモデル下で、多クラスラベル付けに適用可能な一般の集約ルールについて、有限標本の指数的誤差率バウンド（確率的および期待値）を導出する。
• 均一なDawid-Skeneモデル下で平均誤差率バウンドを最小化すると、オラクルMAPルールに近いルールが得られることを同定する。
• 各反復で誤差率バウンドを最小化するように作業者重みを更新する反復的加重多数決（IWMV）アルゴリズムを提案する。
• IWMVの1ステップ版について理論的保証を確立し、誤差率の観点で標準的多数決を上回ることを示す。
• 比較のためのベースラインとしてEMアルゴリズムを用いるが、IWMVは誤差バウンドを直接最適化することで、複雑な反復最適化を回避する。
• 2段階アプローチを採用：まずデータから主要統計量（t₁, t₂, c, σ²）を計算し、その後バウンドとIWMVを適用して性能とラベルを推定する。

実験結果

リサーチクエスチョン

• RQ1 Dawid-Skeneモデル下で多クラスクラウドソーシングにおける一般の集約ルールについて、有限標本誤差率バウンドを導出可能か？
• RQ2 均一なDawid-Skeneモデル下で平均誤差率バウンドを最小化すると、オラクルMAP推定器に近いルールが得られるか？
• RQ3 理論的誤差率保証を伴う反復的かつデータ駆動型の加重多数決手法を設計可能か？ その手法はオラクルMAPルールを近似可能か？
• RQ4 IWMVの性能と計算コストは、実世界およびシミュレート環境下でEM-MAP や LPI といった最先端手法と比較してどうか？
• RQ5 理論的誤差率バウンドは、作業者信頼性やタスク割り当て設定の変化に伴い、実際の誤差トレンドをどの程度正確に反映するか？

主な発見

• 本稿で導出した誤差率バウンドは、作業者数や作業者信頼性といった主要なシステムパラメータの変化に伴い、オラクルMAPルールの実際の誤差率のトレンドを正確に反映している。
• IWMVの1ステップ版には誤差率に関する明確な理論的保証があり、標準的多数決を上回る性能を示す。
• DuchenneおよびWeb検索データセットを含む実データセットにおいて、IWMVはEM-MAP や LPI と同等またはそれ以上の性能を達成している。
• Duchenneデータセットでは、IWMVはEM-MAP や多数決と比較して誤差率で最低4%の改善を示し、EM-MAP よりも約100倍高速に動作した。
• EMベース手法と比較して、モデルの不適合に対してより頑健であり、さまざまな仮定下でも安定した性能を維持している。
• IWMVの計算コストはEM-MAPと比較して約100倍低く、大規模なクラウドソーシング応用に非常に効率的である。