[论文解读] Incentivizing Evaluation via Limited Access to Ground Truth: Peer-Prediction Makes Things Worse

Alice L. L. Gao, James R. Wright+1 more|arXiv (Cornell University)|Jun 22, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 21被引用 30

一句话总结

本文表明，当参与者能够使用低成本、非信息性信号（例如论文长度或格式）进行协调时，常见的用于激励诚实评价的同行预测机制无法确保诚实报告。令人惊讶的是，一种更简单的机制——基于有限的真相抽查结果来奖励参与者——在需要更少真相访问的情况下，反而在提供更强的激励保障方面优于同行预测机制。

ABSTRACT

In many settings, an effective way of evaluating objects of interest is to collect evaluations from dispersed individuals and to aggregate these evaluations together. Some examples are categorizing online content and evaluating student assignments via peer grading. For this data science problem, one challenge is to motivate participants to conduct such evaluations carefully and to report them honestly, particularly when doing so is costly. Existing approaches, notably peer-prediction mechanisms, can incentivize truth telling in equilibrium. However, they also give rise to equilibria in which agents do not pay the costs required to evaluate accurately, and hence fail to elicit useful information. We show that this problem is unavoidable whenever agents are able to coordinate using low-cost signals about the items being evaluated (e.g., text labels or pictures). We then consider ways of circumventing this problem by comparing agents' reports to ground truth, which is available in practice when there exist trusted evaluators---such as teaching assistants in the peer grading scenario---who can perform a limited number of unbiased (but noisy) evaluations. Of course, when such ground truth is available, a simpler approach is also possible: rewarding each agent based on agreement with ground truth with some probability, and unconditionally rewarding the agent otherwise. Surprisingly, we show that the simpler mechanism achieves stronger incentive guarantees given less access to ground truth than a large set of peer-prediction mechanisms.

研究动机与目标

• 研究同行预测机制在参与者同时拥有信息性信号和非信息性信号时，是否能保证诚实报告。
• 分析当非信息性均衡因低成本信号协调而更具吸引力时，同行预测机制在维持诚实均衡方面的局限性。
• 比较同行预测机制与一种更简单、不依赖同行的机制在激励强度上的差异，后者使用有限的真相访问。
• 确定在仍能确保诚实报告和努力激励的机制中，是否可以减少对真相的访问需求。

提出的方法

• 提出一种不依赖同行的机制，该机制根据参与者报告与有限抽查的真相报告的一致性进行奖励，采用一种将个体报告与同行报告及可信报告进行比较的奖励函数。
• 引入奖励函数：$ y_{ij}(r_i, s^t) = \mathds{1}_{r_{ij} = s^t_j} - \mathds{1}_{r_{ij'} = s^t_{j''}} $，其中 $ s^t $ 为可信报告，$ j', j'' $ 为随机选择的对象。
• 分析在同行预测机制与不依赖同行机制下均衡的存在性，重点关注诚实报告是否为帕累托最优或主导策略。
• 通过理论分析表明，对于所有通用抽查型同行预测机制，使诚实均衡成为帕累托最优所需的最低抽查概率，至少与简单机制所需的概率相等或更高。
• 运用引理和推论证明，当参与者可通过非信息性信号协调时，诚实报告并不总是最具吸引力的均衡。
• 在相同真相访问水平下，比较同行预测机制与不依赖同行机制的激励强度，结果表明后者在实现更强保障时所需真相访问更少。

实验结果

研究问题

• RQ1 当参与者可使用非信息性信号进行协调时，同行预测机制能否确保诚实报告是帕累托最优均衡？
• RQ2 低成本、非信息性信号（如论文长度）的存在是否使同行预测机制在激励诚实评价方面本质上更无效？
• RQ3 是否存在一种更简单的机制，其激励保障强于同行预测机制，且对真相访问更少？
• RQ4 在不依赖同行机制中，使诚实报告成为主导策略所需的最低抽查概率，与同行预测机制相比如何？
• RQ5 当同行预测机制因参与者协调于非信息性均衡而失效时，是否可以以某种方式减少对真相访问的需求，同时仍能确保诚实报告和努力激励？

主要发现

• 当参与者可使用非信息性信号进行协调时，同行预测机制无法在所有情境下保证诚实报告是帕累托最优的均衡。
• 在某些情境下，即使精心设计以使诚实报告成为主导策略，诚实均衡在同行预测机制下仍始终被帕累托劣化。
• 对于所有通用抽查型同行预测机制，使诚实均衡成为帕累托最优所需的最低抽查概率，大于或等于简单不依赖同行机制所需的概率。
• 不依赖同行的机制（基于与真相的一致性进行奖励，忽略同行报告）在所需真相访问更少的情况下，能提供比同行预测机制更强的激励保障。
• 当抽查概率超过某一阈值 $ p_{\textup{ds}} $ 时，不依赖同行的机制可确保诚实报告是主导策略，而该阈值低于同行预测机制所需的 $ p_{\textup{Pareto}} $。
• 反直觉的结果源于：同行预测机制必须抵消参与者协调于非信息性均衡的强烈动机，而不依赖同行的机制仅需激励个体参与者诚实报告。