[論文レビュー] Analysis of Minimax Error Rate for Crowdsourcing and Its Application to Worker Clustering Model

Hideaki Imamura, Issei Sato+1 more|arXiv (Cornell University)|Feb 13, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 31被引用数 15

ひとこと要約

本稿は、一般の仮定の下でクラウドソーシングモデルのミニマックス誤差率下界を導出する。これにより、作業者ラベル頻度が著しく異なる現実世界の自由放任型クラウドソーシング環境における真値推定の安定化を目的とした、作業者クラスタリング（WC）モデルの理論的分析が可能になる。理論的下界は実験における実測誤差とよく一致し、解析とモデルの頑健性の両方を裏付ける。

ABSTRACT

While crowdsourcing has become an important means to label data, there is great interest in estimating the ground truth from unreliable labels produced by crowdworkers. The Dawid and Skene (DS) model is one of the most well-known models in the study of crowdsourcing. Despite its practical popularity, theoretical error analysis for the DS model has been conducted only under restrictive assumptions on class priors, confusion matrices, or the number of labels each worker provides. In this paper, we derive a minimax error rate under more practical setting for a broader class of crowdsourcing models including the DS model as a special case. We further propose the worker clustering model, which is more practical than the DS model under real crowdsourcing settings. The wide applicability of our theoretical analysis allows us to immediately investigate the behavior of this proposed model, which can not be analyzed by existing studies. Experimental results showed that there is a strong similarity between the lower bound of the minimax error rate derived by our theoretical analysis and the empirical error of the estimated value.

研究の動機と目的

• 非一様なクラス事前確率や変動する作業者ラベル頻度といった現実的仮定の下で、DawidとSkene（DS）モデルに対する理論的誤差解析の欠如に応えること。
• 作業者参加が著しく不均衡である現実のクラウドソーシング環境において、DSモデルよりも実用的なモデルを構築すること。
• 弱い仮定の下で、DSやその拡張を含む広範なモデルクラスに適用可能なミニマックス下界を提供すること。
• 従来の手法が制限的仮定により分析不能であるため、作業者クラスタリング（WC）モデルの理論的考察を可能にすること。

提案手法

• 一般の仮定の下で、真値推定の任意の推定量に対する誤差率のミニマックス下界を導出するためにFanoの不等式を用いる。
• ラベル行動が類似した作業者をグループ化することで、個々の作業者が少ないタスクしかラベル付けしない場合の推定安定性を向上させる作業者クラスタリング（WC）モデルを導入する。
• 条件付きエントロピーと相互情報量をデータ処理不等式を用いて活用することで、WCモデルの理論的性能をミニマックス下界を用いて分析する。
• EMアルゴリズムを用いてWCモデルにおける推論を実行し、作業者誤り行列をクラスタ化できるようにDSモデルの枠組みを拡張する。
• クラス事前確率 $ \rho $ と作業者誤り行列 $ \pi $ に依存する一般誤差率下界 $ R(\rho, \pi) $ を導出し、広範なモデルクラスに有効であることを示す。
• 理論的下界を合成データおよび実データセットにおける実測誤差と比較することで検証し、強い一致を示す。

実験結果

リサーチクエスチョン

• RQ1 非一様なクラス事前確率や変動する作業者ラベル頻度を含む一般仮定の下で、クラウドソーシングモデルのミニマックス誤差率は何か？
• RQ2 提案された作業者クラスタリングモデルは、作業者参加が著しく不均衡な自由放任型クラウドソーシング環境において、真値推定をどのように改善するか？
• RQ3 従来の手法が制限的仮定により扱えないにもかかわらず、導出されたミニマックス下界を用いて、作業者クラスタリングのようなモデルを理論的に分析可能か？
• RQ4 理論的ミニマックス下界は、実際の推定真値の実測誤差とどの程度一致するか？
• RQ5 作業者参加の不均衡が推定精度に与える影響を、作業者クラスタリングモデルは軽減するか？

主な発見

• 導出されたミニマックス下界 $ \frac{1}{n\log K}\left(R(\rho,\pi) - \frac{\log 2}{n}\right) $ は、広範なクラウドソーシングモデルクラスにおける誤差率のタイトな理論的限界を提供する。
• 理論的ミニマックス下界は、複数のデータセットにおいて推定真値の実測誤差と強く一致し、解析の妥当性を裏付ける。
• 作業者参加が著しく変動する環境では、作業者クラスタリングモデルが多数決や標準DSモデルを大きく上回る推定精度を達成する。
• 個々の作業者が少数のタスクしかラベル付けしない状況において、類似した作業者の行動をクラスタごとに集約することで、安定した推定が可能になる。
• 理論的解析フレームワークは広く適用可能であり、従来の理論的手法では取り扱えなかった作業者クラスタリングのようなモデルの分析に利用可能である。
• CLN、ZLN、RTE、Bird、Dogのデータセットにおける実験により、WCモデルが誤差を低減し、悪意のある作業者やラベル不均衡の度合いが変化する状況でも頑健性を維持することが確認された。