[論文レビュー] Crowdsourced Judgement Elicitation with Endogenous Proficiency

Anirban Dasgupta, Arpita Ghosh|arXiv (Cornell University)|Mar 4, 2013

Auction Theory and Applications被引用数 9

ひとこと要約

本稿は、作業者の熟練度が作業者の努力に内生的に決定される、クラウドソーシングによる判断収集のための新規メカニズムを提案する。複数のタスクとリファレンスレーティング・システムを活用し、低努力による合意を罰する仕組みにより、最大の努力と真実の報告が、混合戦略や能力の非均一性がある状況下でも、最も報酬が得られるナッシュ均衡となるように保証する。

ABSTRACT

Crowdsourcing is now widely used to replace judgement by an expert authority with an aggregate evaluation from a number of non-experts, in applications ranging from rating and categorizing online content to evaluation of student assignments in massively open online courses via peer grading. A key issue in these settings, where direct monitoring is infeasible, is incentivizing agents in the `crowd' to put in effort to make good evaluations, as well as to truthfully report their evaluations. This leads to a new family of information elicitation problems with unobservable ground truth, where an agent's proficiency- the probability with which she correctly evaluates the underlying ground truth- is endogenously determined by her strategic choice of how much effort to put into the task. Our main contribution is a simple, new, mechanism for binary information elicitation for multiple tasks when agents have endogenous proficiencies, with the following properties: (i) Exerting maximum effort followed by truthful reporting of observations is a Nash equilibrium. (ii) This is the equilibrium with maximum payoff to all agents, even when agents have different maximum proficiencies, can use mixed strategies, and can choose a different strategy for each of their tasks. Our information elicitation mechanism requires only minimal bounds on the priors, asks agents to only report their own evaluations, and does not require any conditions on a diverging number of agent reports per task to achieve its incentive properties. The main idea behind our mechanism is to use the presence of multiple tasks and ratings to identify and penalize low-effort agreement: the mechanism rewards agents for agreeing with a `reference' rater on a task but also penalizes for blind agreement by subtracting out a statistic term designed so that agents obtain reward only when they put effort into their observations.

研究の動機と目的

• 真の正解が観測不能な状況において、クラウドソーシングによる判断の文脈で努力と真実の報告をインセンティブ化する課題に対処すること。
• 熟練度を固定的または外生的属性ではなく、努力に依存する戦略的選択としてモデル化すること。
• 純粋戦略および混合戦略の両方において、最大の努力と真実の報告が最も報酬が得られるナッシュ均衡となるようなメカニズムを設計すること。
• 各タスクにおける報告数が増加することに依存せず、強いインcentive特性を達成すること。
• ピアグレーディングやコンテンツモデレーションのような、努力が正確性に直接影響を与える応用分野におけるインcentive-compatibleメカニズムの基盤を提供すること。

提案手法

• 各エージェントの報告を、同じタスクにおける指定されたリファレンスエージェントと比較するリファレンスレーティング・システムを用いる。
• リファレンスレーティング・レーティングとの合意を報酬化するが、独立観察に基づかない合意には罰則を科す報酬関数を設計する。
• 「盲目的合意」（共有観察に基づかない合意）に対して統計的ペナルティ項を導入し、低努力による共謀を抑止する。
• 各エージェントが別々のタスクブロックに割り当てられ、リファレンスレーティングが実行可能性と公平性を確保するように選ばれるように、エージェント-タスクの割り当てを構築する。
• 初期段階でエージェントのランダムな順列を入れることで、エージェント間での熟練度の期待値が偏らないように保証する。
• エージェントが努力レベルと報告を選択するゲーム理論的モデルとしてメカニズムを形式化し、構造的割り当てと統計的推定を用いて均衡の性質を証明する。

実験結果

リサーチクエスチョン

• RQ1 努力に内生的に依存する熟練度の下で、最大の努力と真実の報告を誘発するインセンティブメカニズムをどのように設計できるか。
• RQ2 混合戦略を用いるエージェントが存在する状況でも、最高報酬のナッシュ均衡が完全な努力と真実の報告に対応するメカニズムは可能か。
• RQ3 エージェントが他者の行動に関する予測を報告する必要がなく、かつタスクごとの報告数が増加することに依存しない条件下で、強いインセンティブ特性を達成できる条件は何か。
• RQ4 能力の非均一性がある状況下でも、実行可能性と公平性を確保するために、リファレンスレーティングの選定とタスク割り当てをどのように構造化できるか。
• RQ5 メカニズムをより豊かな結果空間、非二値の努力モデル、または能力の異なるタスク難易度に拡張する場合、どのような影響が生じるか。

主な発見

• 最大の努力を尽くした上で真実を報告することはナッシュ均衡であり、混合戦略および能力の非均一性がある状況下でも、すべてのエージェントにとって最も高い報酬をもたらす。
• 本メカニズムは、エージェントが他者の行動に関する予測を報告する必要がなく、タスクごとの報告数が増加することに依存しない。
• リファレンスレーティング・システムにより、情報に基づく合意と盲目的合意を区別する合意統計の推定が可能となり、低努力行動に対する有効なペナルティが可能となる。
• 各エージェントが別々のタスクブロックに割り当てられ、1つのブロックに複数のタスクが割り当てられないように、実行可能なエージェント-タスク割り当てとリファレンスレーティングの選定が構築可能である。
• 本メカニズムは最小限の事前仮定（事前分布の境界）のもとでインcentive-compatibleを維持でき、個々のエージェントの熟練度の知識は不要である。
• 本メカニズムは能力の非均一性に強く、真実かつ高努力な行動が強い報酬優位性を示す純粋および混合戦略の均衡をサポートする。