[論文レビュー] Evaluating Crowdsourcing Participants in the Absence of Ground-Truth

Ramanathan Subramanian, Rómer Rosales+2 more|arXiv (Cornell University)|May 30, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 2被引用数 4

ひとこと要約

本稿では、他のアノテータの応答を条件とするラベル上の条件付き確率分布を通じてアノテータの信頼性をモデル化することにより、真のラベルが入手不可能な状況下でも、信頼性の低いまたは悪意のあるアノテータを評価・同定する、真のラベルに依存しない新規手法を提案する。この手法は入力に依存する正確性関数を備えたマルチアノテータ統計モデルを用い、高いノイズレベル下でも悪意のあるアノテータを堅牢に検出可能であり、悪意のあるアノテータが一貫性のない場合でも高いモデル精度を維持する。

ABSTRACT

Given a supervised/semi-supervised learning scenario where multiple annotators are available, we consider the problem of identification of adversarial or unreliable annotators.

研究の動機と目的

• 真のラベルが入手不可能または得られない状況下で、クラウドソーシングにおける信頼性の低いまたは悪意のあるアノテータを同定する課題に対処すること。
• 入力データの特徴に依存するアノテータの熟練度を捉える統計モデルを構築すること。均一な正確性を仮定するのではなく、入力に応じて変化する正確性をモデル化すること。
• ラベル付きデータを一切必要とせず、アノテータ間の合意パターンに基づいてアノテータの信頼性を評価するメカニズムを構築すること。
• 異なる数の悪意のあるアノテータや、悪意のある行動のレベルの変動下でも、手法の耐障害性を検証すること。

提案手法

• アノテータの信頼性を条件付き確率分布でモデル化：$ p(y^{(t)}_i | \mathbf{x}_i, z_i) = (1 - \eta_t(\mathbf{x}))^{\left|y^{(t)}_i - z_i\right|} \eta_t(\mathbf{x})^{1 - \left|y^{(t)}_i - z_i\right|} $、ここで $ \eta_t(\mathbf{x}) $ は入力に依存する正確性。
• 入力 $ \mathbf{x} \rightarrow y^{(t)} \leftarrow z $ の依存関係を持つグラフィカルモデルを用い、データポイントの特徴に応じてアノテータの正確性がどのように変化するかを明示的にモデル化する。
• 他のアノテータのラベルから、あるアノテータのラベルがどの程度予測可能であるかを測るための条件付き確率 $ p(y^{(k)} | \{y^{(t \setminus k)}\}, \mathbf{x}) $ を定義し、信頼性の代理指標とする。
• データポイント全体にわたる負の対数条件付き確率の和として悪意のあるスコアを計算し、スコアが高いほど信頼性が低いことを示す。
• 真のラベル $ p(z_i = 1 | \mathbf{x}_i) $ をロジスティック回帰でモデル化し、それを全体の確率的フレームワークに統合する。
• 実際の医療データセット（乳がん、心房細動）および制御された悪意のあるノイズを含む合成UCIデータセットを用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 真のラベルが入手不可である状況下でも、クラウドソーシングにおける悪意のあるアノテータを信頼性を持って検出できるか？
• RQ2 異なる数の悪意のあるアノテータや、異なるレベルの悪意のある行動（ラベル反転確率 $ p_a $）下で、本手法はどの程度の性能を示すか？
• RQ3 悪意のあるアノテータが導入された際、非悪意のあるアノテータの条件付き予測可能性スコアは安定しているか？
• RQ4 悪意のあるアノテータの存在が、下流の分類性能（例：AUC）にどのような影響を及ぼすか？
• RQ5 データ分布の変化やアノテータ行動パターンの変動に対して、本手法は耐障害性を示せるか？

主な発見

• 非悪意のあるアノテータの悪意のあるスコアは、悪意のあるアノテータの数や $ p_a $ の値が変化しても安定しており、ノイズに対して耐障害性があることを示している。
• 悪意のあるアノテータは $ p_a = 0.5 $ を中心に対称的なスコア曲線を示しており、完全にランダムなラベル付け（最大の予測不能性）が最も高いスコアを示すことを確認している。
• 真のラベルが入手不可であっても、条件付きラベル予測可能性が低いことから、悪意のあるアノテータを効果的に同定できることを示している。
• 悪意のあるアノテータが一貫してラベルを反転させる割合が大きくない限り、分類のAUCは比較的高い水準を維持しており、中程度の悪意のある影響に対しても耐性があることを示している。
• 医療データセットやUCIベンチマークデータセットを含む多様なデータセットに一般化可能であり、さまざまな設定で一貫した検出性能を示している。