[論文レビュー] Unifying Framework for Crowd-sourcing via Graphon Estimation

Christina Lee, Devavrat Shah|arXiv (Cornell University)|Mar 23, 2017

Mobile Crowdsensing and Crowdsourcing被引用数 3

ひとこと要約

本論文は、作業者-タスクの合意確率を潜在的特徴上の非パラメトリックでリプシッツ連続関数としてモデル化することにより、既存のモデルを統一する非パrametricでグラフオンに基づくフレームワークを提案する。問題をグラフオン推定に還元することで、未知の関数や特徴に関する事前知識がなくても、各タスクに対して $ ilde{O}( ext{ln}(T)^{3/2})$ 応答で真のタスク回答の高確率推定が達成可能である。

ABSTRACT

We consider the question of inferring true answers associated with tasks based on potentially noisy answers obtained through a micro-task crowd-sourcing platform such as Amazon Mechanical Turk. We propose a generic, non-parametric model for this setting: for a given task $i$, $1\leq i \leq T$, the response of worker $j$, $1\leq j\leq W$ for this task is correct with probability $F_{ij}$, where matrix $F = [F_{ij}]_{i\leq T, j\leq W}$ may satisfy one of a collection of regularity conditions including low rank, which can express the popular Dawid-Skene model; piecewise constant, which occurs when there is finitely many worker and task types; monotonic under permutation, when there is some ordering of worker skills and task difficulties; or Lipschitz with respect to an associated latent non-parametric function. This model, contains most, if not all, of the previously proposed models to the best of our knowledge. We show that the question of estimating the true answers to tasks can be reduced to solving the Graphon estimation problem, for which there has been much recent progress. By leveraging these techniques, we provide a crowdsourcing inference algorithm along with theoretical bounds on the fraction of incorrectly estimated tasks. Subsequently, we have a solution for inferring the true answers for tasks using noisy answers collected from crowd-sourcing platform under a significantly larger class of models. Concretely, we establish that if the $(i,j)$th element of $F$, $F_{ij}$, is equal to a Lipschitz continuous function over latent features associated with the task $i$ and worker $j$ for all $i, j$, then all task answers can be inferred correctly with high probability by soliciting $ ilde{O}(\ln(T)^{3/2})$ responses per task even without any knowledge of the Lipschitz function, task and worker features, or the matrix $F$.

研究の動機と目的

• Dawid-Skeneモデル、低ランクモデル、区分定数モデルなどの多様な既存のクラウドソーシングモデルを、単一の非パラメトリックフレームワークに統合すること。
• Amazon Mechanical Turkなどのプラットフォームを通じて収集されたノイズ混じりで偏りのある応答から真のタスク回答を推定する課題に対処すること。
• 高確率で正しく推定できる理論的裏付けのある推定アルゴリズムを開発し、応答数を最小限に抑えること。

提案手法

• タスク $i$ と作業者 $j$ に関連する潜在的特徴の関数として、作業者-タスク合意確率 $F_{ij}$ をリプシッツ連続関数としてモデル化し、非パラメトリック表現を可能にする。
• 真の回答推定問題をグラフオン推定問題に還元し、非パラメトリックグラフオン回復分野の最近の進展を活用する。
• 正則性条件（例えば、低ランク、区分定数、単調、またはリプシッツ）の下で $F$ 行列の構造を用いて、既存のモデルを統一的かつ一般化する。
• 観測された応答から、潜在的な合意関数 $F$ を回復するためにグラフオン推定技術を適用する。
• 提案されたフレームワーク下での誤って推定されたタスクの割合に関する理論的境界を導出する。
• 未知のリプシッツ関数や潜在的特徴に依存せず、各タスクに対して $\tilde{O}(\text{ln}(T)^{3/2})$ 応答で高確率で正しく推定できる。

実験結果

リサーチクエスチョン

• RQ1 低ランク、区分定数、単調モデルを含む既存のクラウドソーシング推定モデルを統一する単一の非パラメトリックフレームワークは可能か？
• RQ2 グラフオン推定技術は、ノイズ混じりのクラウドソーシング応答から真の回答を推定する問題にどのように適合可能か？
• RQ3 未知の合意関数や潜在的特徴に関する事前知識がなくても、推定の高確率正しさを達成するために必要なタスクごとの最小応答数は何か？
• RQ4 作業者-タスク合意行列 $F$ にどのような正則性条件が課されると、正確な推定が保証されるか？

主な発見

• 提案されたフレームワークは、Dawid-Skeneモデルを含む、既知のすべてのパラメトリッククラウドソーシングモデルを、単一の非パラメトリック定式化のもとで一般化・統合する。
• 合意確率 $F_{ij}$ が潜在的特徴に関してリプシッツ連続である場合、すべての真のタスク回答が高確率で正しく推定可能である。
• リプシッツ関数、潜在的特徴、行列 $F$ に関する知識がなくても、各タスクに対して $ ilde{O}(\text{ln}(T)^{3/2})$ 応答で高確率で正しく推定できる。
• 誤差確率に関する理論的境界は、近年顕著な進展を遂げたグラフオン推定問題への還元によって導出された。
• 低ランク、区分定数、単調構造を含む広範な正則性条件が、共通の推定パラダイムのもとでサポートされる。
• 最小限の仮定のもとで頑健な推定が可能であるため、作業者およびタスクの特性が未知の現実世界のクラウドソーシング設定にも適用可能である。