[論文レビュー] Crowd Labeling: a survey

Jafar Muhammadi, Hamid R. Rabiee+1 more|arXiv (Cornell University)|Jan 13, 2013

Mobile Crowdsensing and Crowdsourcing被引用数 9

ひとこと要約

本調査では、多数のラベル付け手法を統一的な統計的潜在モデルとして提示し、異なるパrameter設定によりさまざまな集約手法を特殊ケースとして扱う。推論アルゴリズム、適応的ラベリング戦略、多クラス対応、ユーザ相関、モデルの複雑さといった主な課題を特定し、今後のタスク固有モデルやスパースでカテゴリカルなクラウドデータに適した行列因子分解技術の向上のためのガイドラインを提示する。

ABSTRACT

Recently, there has been a burst in the number of research projects on human computation via crowdsourcing. Multiple choice (or labeling) questions could be referred to as a common type of problem which is solved by this approach. As an application, crowd labeling is applied to find true labels for large machine learning datasets. Since crowds are not necessarily experts, the labels they provide are rather noisy and erroneous. This challenge is usually resolved by collecting multiple labels for each sample, and then aggregating them to estimate the true label. Although the mechanism leads to high-quality labels, it is not actually cost-effective. As a result, efforts are currently made to maximize the accuracy in estimating true labels, while fixing the number of acquired labels. This paper surveys methods to aggregate redundant crowd labels in order to estimate unknown true labels. It presents a unified statistical latent model where the differences among popular methods in the field correspond to different choices for the parameters of the model. Afterwards, algorithms to make inference on these models will be surveyed. Moreover, adaptive methods which iteratively collect labels based on the previously collected labels and estimated models will be discussed. In addition, this paper compares the distinguished methods, and provides guidelines for future work required to address the current open issues.

研究の動機と目的

• ノイズが多く重複する人間によるラベル付けデータから真のラベルを推定するための、体系的なクラウドラベリング手法の調査を行う。
• さまざまなクラウドラベリングアプローチを、一貫した統計的潜在モデルの下に統合し、異なる手法が異なるパrameter選択に対応することを示す。
• 潜在モデルで用いられる推論アルゴリズム（EM、信念伝播、行列因子分解技術など）をレビューする。
• 事前の推定に基づいて反復的にラベルを選択する適応的ラベリング戦略を検討し、効率を向上させる。
• 多クラス問題、ユーザ相関モデリング、アプリケーション固有のモデル設計における今後の研究のための課題とガイドラインを特定する。

提案手法

• クラウドラベリングを未観測の真のラベルとノイズのある作業者応答を伴う統計的推論問題として扱う一般化された確率的潜在モデルを提案する。
• 作業者精度（α_j）、ラベル事前分布（π^j）、応答分布といったパrameterを変更することで、既存の手法（例：多数決投票、Dawid-Skene、PMF）を統一モデルの特殊ケースとして定式化する。
• 期待尤度法（EM）による尤度関数や結合確率関数の最大化、信念伝播（BP）スタイルのアルゴリズム、SVDに基づく手法を含む推論技術をレビューする。
• 適応的ラベリングのためのサンプル選択基準を導入し、現在のモデル推定に基づいて情報量の多いラベルを次に選択することで、情報の獲得を最大化する。
• クラウドラベリングに適したProbabilistic Matrix Factorization（PMF）の改良を提案し、目的関数への外れ値検出の統合と、カテゴリカルデータに適した距離尺度の使用を含む。
• ドメイン固有の性質を活用するタスク駆動型モデルを提案し、仮定の簡素化と精度の向上を実現しつつ、計算の tractability を損なわないようにする。

実験結果

リサーチクエスチョン

• RQ1 多様なクラウドラベリング手法を、一貫した統計的潜在モデルの下に統合する方法は何か？
• RQ2 EM、BP、SVDベースの手法といった代表的な推論アルゴリズム間の性能差や仮定の違いは何か？
• RQ3 適応的ラベリング戦略は、ラベルコストを低減しつつも、ラベルの正確性を維持または向上させることができるか？
• RQ4 現在のモデルは、多クラス問題やユーザ応答相関の処理においてどのような限界を抱えているか？
• RQ5 PMFのような行列因子分解技術は、カテゴリカルでスパースなクラウドラベリングデータにどのように適合させられるか？

主な発見

• 統一された潜在モデルは、作業者信頼性やラベル事前分布といったモデルパラメータを変更することにより、Dawid-Skene や PMF といった主要なクラウドラベリング手法を包括的に再現できる。
• EMに基づく推論は、尤度関数や結合確率関数の最大化において、単純な多数決投票よりも一貫して高い正確性と頑健性を示す。
• 適応的サンプリング戦略は、モデルベースの不確実性推定と組み合わせることで、必要なラベル数を顕著に削減しつつも高い正確性を維持できる。
• PMFベースのアプローチは、協調フィルタリングに内在する強い行・列相関の仮定が、カテゴリカルラベリングタスクでは成り立たないため、クラウドラベリングデータでは劣悪な結果をもたらす。
• 外れ値検出を行列因子分解の目的関数に統合することで、ランクの崩壊を防ぎ、特にノイズの高い現実世界データにおいて推定精度を向上できる。
• 本稿は、現在の手法における深刻な欠落を特定している：多クラスラベリングのサポートがほとんどなく、作業者間の相関をモデル化できないため、タスク固有でドメインに配慮したモデルの開発が急務である。