[論文レビュー] CrowdTruth 2.0: Quality Metrics for Crowdsourcing with Disagreement

Anca Dumitrache, Oana Inel+3 more|arXiv (Cornell University)|Aug 18, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 5被引用数 8

ひとこと要約

この論文は、クラウドソーシングにおけるアノテーター間の不一致をノイズではなくコアな信号として扱う CrowdTruth 2.0 フレームワークを紹介する。ベクトル表現と重み付き不一致指標を用いて、作業者、入力メディア単位、アノテーションの間の相互依存関係を明示的にモデル化することで、作業者、アノテーション、データ単位の品質を正確に評価可能にする。このアプローチにより、合意を強制するのではなく、曖昧さを保持することができる。

ABSTRACT

Typically crowdsourcing-based approaches to gather annotated data use inter-annotator agreement as a measure of quality. However, in many domains, there is ambiguity in the data, as well as a multitude of perspectives of the information examples. In this paper, we present ongoing work into the CrowdTruth metrics, that capture and interpret inter-annotator disagreement in crowdsourcing. The CrowdTruth metrics model the inter-dependency between the three main components of a crowdsourcing system -- worker, input data, and annotation. The goal of the metrics is to capture the degree of ambiguity in each of these three components. The metrics are available online at https://github.com/CrowdTruth/CrowdTruth-core .

研究の動機と目的

• 従来のクラウドソーシング手法がアノテーター間の不一致をノイズとして扱い、多数決による合意形成を強制するという限界を是正すること。
• クラウドソーシングシステムの3つのコア要素（作業者、入力メディア単位、アノテーション）の間で曖昧さがどのように伝播するかをモデル化すること。
• 作業者品質の低さによる不一致と、データ自体の本質的曖昧さによる不一致を区別できる品質指標を開発すること。
• 相互に依存する作業者、アノテーション、メディア単位の品質スコアを、品質に基づいた重み付けを施して逐次的かつ原理的に行う方法を提供すること。
• 特に曖昧またはオープンエンドの状況において、人間の多様な視点を完全に保持すること。

提案手法

• 有限の回答空間上で、各作業者のメディア単位に対するアノテーションを二値ベクトルとして表現し、作業者およびメディア単位のベクトルを形成する。
• 閉形式タスクでは回答空間が事前に定義される。オープン形式タスクでは、各メディア単位のすべての固有のアノテーションから動的に回答空間を導出する。
• コサイン距離に基づく不一致指標を用いて品質スコアを計算し、関連するコンポONENT（例：作業者品質、アノテーション品質）の品質に基づいた重み付けを行う。
• 主要な指標を定義する：作業者-作業者一致度（WWA）、作業者-メディア単位一致度（WUA）、アノテーション品質スコア（AQS）、メディア単位-アノテーションスコア（UAS）。
• 収束するまで、作業者、アノテーション、メディア単位の品質スコアを相互に依存するループ内で繰り返し再計算する動的計画法の反復的アプローチを用いる。
• すべての指標において重み付き平均を適用し、低品質な作業者、アノテーション、またはメディア単位の影響を最終スコアに及ぼさないようにする。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングにおけるアノテーター間の不一致を、ノイズではなく曖昧さの信号として意味的に解釈する方法は何か？
• RQ2 作業者、アノテーション、入力メディア単位の品質を、互いの依存関係を考慮して同時に評価できるか、その程度はいかほどか？
• RQ3 不一致に気づく指標は、曖昧またはオープンエンドのタスクにおけるクラウドソーシングによる意味的アノテーションの信頼性を向上させられるか？
• RQ4 3つのコンポONENT（作業者、データ、アノテーション）間で曖昧さがどのように伝播するかが、不一致の解釈に与える影響は何か？
• RQ5 コンポONENTの品質で重み付けされた不一致指標が、最終的な品質スコアに与える影響は何か？

主な発見

• CrowドTruth 2.0 の指標は、低品質な作業者による不一致と、入力データ自体の本質的曖昧さに起因する不一致を明確に区別できることを示した。
• 品質スコアの反復的計算は収束に至り、反復間の変化の合計がしきい値を下回ることで、信頼性の高い指標出力を保証した。
• アノテーション品質スコア（AQS）は、同じアノテーションセットがすべてのメディア単位で使用される閉形式タスクにのみ適用可能であり、作業者ペア間の合意の条件付き確率の重み付き平均として計算される。
• 作業者-作業者一致度（WWA）指標は、ある作業者のアノテーションと、共有メディア単位上で他の作業者のアノテーションとのコサイン距離の重み付き平均を用いる。重みは作業者およびアノテーション品質に基づく。
• 作業者-メディア単位一致度（WUA）指標は、ある作業者のアノテーションと、共有単位上で他のすべての作業者の合意との類似度を計算し、メディア単位およびアノテーション品質に基づいた重み付けを行う。
• メディア単位-アノテーションスコア（UAS）は、あるアノテーションが特定のメディア単位でどの程度明確に表現されているかを測定する。これは、そのアノテーションを選択した「資格あり」作業者の割合を重み付き比率として用いる。