[論文レビュー] Truth Serums for Massively Crowdsourced Evaluation Tasks

Vijay Kamble, Nihar B. Shah+3 more|arXiv (Cornell University)|Jul 25, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 18被引用数 18

ひとこと要約

この論文は、検証可能な真の正解が存在しないか、エージェントの信念やモデル構造に関する強い仮定を必要としない、クラウドソーシング評価タスクのための新しい報酬メカニズムを提案する。類似したタスクの豊富さを活用し、信念に依存しない、能力に差がある設計を組み合わせた出力合意原理を用いることで、最小限の仮定でほぼ最適な真実性を達成する。

ABSTRACT

Incentivizing effort and eliciting truthful responses from agents in the absence of verifiability is a major challenge faced while crowdsourcing many types of evaluation tasks like labeling images, grading assignments in online courses, etc. In this paper, we propose new reward mechanisms for such settings that, unlike most previously studied mechanisms, impose minimal assumptions on the structure and knowledge of the underlying generating model, can account for heterogeneity in the agents' abilities, require no extraneous elicitation from them, and furthermore allow their beliefs to be (almost) arbitrary. Moreover, these mechanisms have the simple and intuitive structure of output agreement mechanisms, which, despite not incentivizing truthful behavior, have nevertheless been quite popular in practice. We achieve this by leveraging a typical characteristic of many of these settings, which is the existence of a large number of similar tasks.

研究の動機と目的

• 検証可能な真の正解が存在しないクラウドソーシング評価タスクにおいて、真実の回答を引き出す課題に対処すること。
• エージェントの信念、能力、あるいは下位のモデルに関する仮定を最小限に抑える報酬メカニズムを設計すること。
• エージェントがタスクの結果について任意または多様な信念を持っている場合でも、真実の報告を可能にすること。
• 広く使われている出力合意フレームワークに基づいて、単純さと実用性を維持すること。
• 類似したタスクを含む大規模なマス・クラウドソーシング環境において、頑健性とインcentive compatibility（インcentive適合性）を確保すること。

提案手法

• 多数の類似したタスクにおける応答の統計的整合性に依存する報酬メカニズムを提案する。
• エージェントが信念を報告する必要がなく、信念分布の特定のモデルを仮定しない、信念に依存しない設計を採用する。
• 応答パターンからの推定により、個々の信頼性を表す潜在変数を用いて、エージェントの能力の差をモデル化する。
• 検証可能なラベルが存在しない状況に適応したスコアリングルールフレームワークを採用し、報酬の根拠を応答者間の合意のみに依存する。
• 観察された応答頻度と一貫性に基づいて報酬をキャリブレーションするため、経験的ベイズ推定の一種を適用する。
• エージェントが正しい答えについて任意の信念を持っている場合でも、真実の報告と個人の報酬を一致させることでインcentive compatibilityを確保する。

実験結果

リサーチクエスチョン

• RQ1 検証可能な真の正解が存在しないクラウドソーシングタスクにおいて、真実の回答をインcentivize（インcentive化）することは可能か？
• RQ2 任意のエージェントの信念や能力の差に強く影響されない報酬メカニズムは、どのように設計できるか？
• RQ3 出力合意メカニズムは、追加の情報抽出なしに、どの程度真実性を保証できるか？
• RQ4 大規模で検証不可能な評価タスクにおいて、真実の報告に必要な構造的仮定は何か？
• RQ5 タスクの類似性を活用することで、単純で実用的なメカニズムがほぼ最適な真実性を達成できるか？

主な発見

• 提案されたメカニズムは、検証可能な真の正解が存在しない大規模なクラウドソーシング環境でも、ほぼ最適な真実性を達成する。
• メカニズムは任意のエージェントの信念に強く影響されず、エージェントが信念を明示的に報告する必要がない。
• エージェントの能力の差が報酬構造に効果的に組み込まれ、全体の正確性が向上する。
• メカニズムは、標準的な出力合意と同様に単純で直感的な形を保ち、実用的な展開が可能である。
• 理論的分析により、真実の報告が、下位モデルに関する最小限の仮定のもとで、弱い条件下でもインcentive化されることが示された。
• 実証的検証により、標準的な出力合意よりも真実の回答を促進する点で、本メカニズムが優れていることが示された。