[论文解读] Crowdsourced Judgement Elicitation with Endogenous Proficiency

Anirban Dasgupta, Arpita Ghosh|arXiv (Cornell University)|Mar 4, 2013

Auction Theory and Applications被引用 9

一句话总结

本文提出了一种新型众包判断获取机制，其中工人的熟练度由其自身努力程度内生决定。通过利用多项任务和参考评分者系统，对低努力程度的一致性行为进行惩罚，该机制确保在混合策略和异质能力条件下，最大努力与真实报告构成最高收益的纳什均衡。

ABSTRACT

Crowdsourcing is now widely used to replace judgement by an expert authority with an aggregate evaluation from a number of non-experts, in applications ranging from rating and categorizing online content to evaluation of student assignments in massively open online courses via peer grading. A key issue in these settings, where direct monitoring is infeasible, is incentivizing agents in the `crowd' to put in effort to make good evaluations, as well as to truthfully report their evaluations. This leads to a new family of information elicitation problems with unobservable ground truth, where an agent's proficiency- the probability with which she correctly evaluates the underlying ground truth- is endogenously determined by her strategic choice of how much effort to put into the task. Our main contribution is a simple, new, mechanism for binary information elicitation for multiple tasks when agents have endogenous proficiencies, with the following properties: (i) Exerting maximum effort followed by truthful reporting of observations is a Nash equilibrium. (ii) This is the equilibrium with maximum payoff to all agents, even when agents have different maximum proficiencies, can use mixed strategies, and can choose a different strategy for each of their tasks. Our information elicitation mechanism requires only minimal bounds on the priors, asks agents to only report their own evaluations, and does not require any conditions on a diverging number of agent reports per task to achieve its incentive properties. The main idea behind our mechanism is to use the presence of multiple tasks and ratings to identify and penalize low-effort agreement: the mechanism rewards agents for agreeing with a `reference' rater on a task but also penalizes for blind agreement by subtracting out a statistic term designed so that agents obtain reward only when they put effort into their observations.

研究动机与目标

• 解决在无法观测真实答案时，激励众包判断中努力与诚实报告的挑战。
• 将代理熟练度建模为依赖于努力程度的战略选择，而非固定或外生属性。
• 设计一种机制，确保在纯策略与混合策略下，最大努力与诚实报告均为最具收益的纳什均衡。
• 在无需代理报告对他人行为的信念或依赖每项任务报告数量不断增加的前提下，实现强激励特性。
• 为诸如同伴评分与内容审核等应用提供激励相容机制的基础，其中努力程度直接影响准确性。

提出的方法

• 使用参考评分者系统，将每个代理的报告与同一任务中的指定参考代理进行比较。
• 设计一种奖励函数，奖励与参考评分者的一致性，但惩罚非基于独立观察的一致性。
• 引入统计惩罚项以针对‘盲从一致’行为——即无共享观察依据的一致性——从而有效遏制低努力程度的合谋。
• 构建代理-任务分配，使得每个代理被分配至不同的任务区块，且参考评分者被选择以确保可行性与公平性。
• 在开始时对代理进行随机排列，以确保各代理熟练度的期望值无偏。
• 将机制形式化为博弈论模型，其中代理选择努力水平与报告内容，并通过结构化分配与统计估计证明均衡性质。

实验结果

研究问题

• RQ1 如何设计一种激励机制，使得当熟练度由努力程度内生决定时，能诱导出最大努力与诚实报告？
• RQ2 在代理使用混合策略的情况下，能否确保最高收益的纳什均衡对应于完全努力与诚实报告？
• RQ3 在何种条件下，机制可实现强激励特性，而无需代理报告对他人行为的预测或依赖每项任务报告数量持续增长？
• RQ4 如何构建参考评分者选择与任务分配结构，以在代理能力异质的条件下确保可行性与公平性？
• RQ5 将机制扩展至更丰富的结果空间、非二元努力模型或异质任务难度时，会产生何种影响？

主要发现

• 付出最大努力并随后诚实报告构成纳什均衡，且在混合策略与异质最大熟练度条件下，对所有代理而言均带来最高收益。
• 该机制在无需代理报告对他人行为预测或依赖每项任务报告数量不断增长的前提下，实现了其激励特性。
• 参考评分者系统使我们能够估计区分知情一致与盲从一致的协议统计量，从而有效惩罚低努力行为。
• 可构建可行的代理-任务分配与参考评分者选择，使得每个代理被分配至不同的任务区块，且任一代理在区块内不被分配超过一项任务。
• 该机制在最小先验假设下保持激励相容，仅需对先验分布施加边界限制，且无需了解个体代理的熟练度。
• 该机制对异质代理能力具有鲁棒性，并支持纯策略与混合策略均衡，且对诚实、高努力行为具有强收益主导性。