[论文解读] Incentive Design in Peer Review: Rating and Repeated Endogenous Matching

Yuanzhang Xiao, Florian Dörfler+1 more|arXiv (Cornell University)|Nov 8, 2014

Auction Theory and Applications参考文献 7被引用 5

一句话总结

本文提出了一种新颖的同行评审激励机制，通过在重复互动中使用内生的、基于评分的匹配，同时解决了逆向选择和道德风险问题。通过将未来的匹配和收益与评审者的过往表现评分挂钩，该机制在无需依赖私人信息的情况下诱导出高努力行为，实现了效率更高的均衡，相比一次性或外生匹配规则，评审质量显著提升。

ABSTRACT

Peer review (e.g., grading assignments in Massive Open Online Courses (MOOCs), academic paper review) is an effective and scalable method to evaluate the products (e.g., assignments, papers) of a large number of agents when the number of dedicated reviewing experts (e.g., teaching assistants, editors) is limited. Peer review poses two key challenges: 1) identifying the reviewers' intrinsic capabilities (i.e., adverse selection) and 2) incentivizing the reviewers to exert high effort (i.e., moral hazard). Some works in mechanism design address pure adverse selection using one-shot matching rules, and pure moral hazard was addressed in repeated games with exogenously given and fixed matching rules. However, in peer review systems exhibiting both adverse selection and moral hazard, one-shot or exogenous matching rules do not link agents' current behavior with future matches and future payoffs, and as we prove, will induce myopic behavior (i.e., exerting the lowest effort) resulting in the lowest review quality. In this paper, we propose for the first time a solution that simultaneously solves adverse selection and moral hazard. Our solution exploits the repeated interactions of agents, utilizes ratings to summarize agents' past review quality, and designs matching rules that endogenously depend on agents' ratings. Our proposed matching rules are easy to implement and require no knowledge about agents' private information (e.g., their benefit and cost functions). Yet, they are effective in guiding the system to an equilibrium where the agents are incentivized to exert high effort and receive ratings that precisely reflect their review quality. Using several illustrative examples, we quantify the significant performance gains obtained by our proposed mechanism as compared to existing one-shot or exogenous matching rules.

研究动机与目标

• 解决同行评审系统中同时存在的双重挑战：逆向选择（评审者能力未知）和道德风险（努力程度不可观测）。
• 设计一种机制，激励高努力行为，且不依赖于对评审者成本或收益函数的私人信息。
• 构建一个系统，使未来的匹配和收益取决于过往表现，从而培育长期激励。
• 证明基于内生评分的匹配优于一次性或外生匹配规则，在评审质量方面表现更优。
• 建立理论条件，证明在所提机制下，高努力均衡存在且稳定。

提出的方法

• 该机制采用动态的、重复的同行评审框架，评审者根据其历史评分进行匹配，形成内生匹配规则。
• 评审者会获得评分，用以总结其过往的评审质量，这些评分将用于决定未来的匹配和收益。
• 系统采用评分更新规则，反映评审质量，使评分成为评审者能力与努力程度的信号。
• 该机制使用期望未来收益的递归公式，结合折现因子以及与努力程度相关的成本和收益函数。
• 关键方程定义了均衡条件，即参与者基于未来激励选择最优努力水平，不等式 (30)-(35) 描述了稳定均衡。
• 对基础机制的扩展引入了扰动项（例如加法项 γ），以表明在相同均衡条件下可实现更高的评分水平。

实验结果

研究问题

• RQ1 能否设计一种机制，同时缓解同行评审中的逆向选择与道德风险？
• RQ2 如何利用重复互动与绩效评分，在不披露私人信息的前提下，创造高努力的激励？
• RQ3 在何种条件下可确保存在一个稳定均衡，使得评审者付出高努力并获得准确的评分？
• RQ4 基于评分的内生匹配与一次性或外生匹配相比，在系统整体评审质量方面表现如何？
• RQ5 该机制能否通过对接合规则的小幅扰动实现更高均衡评分水平？

主要发现

• 所提机制实现了稳定均衡，即使评审者的能力和成本函数未知，其仍会付出高努力。
• 一次性或外生匹配规则导致短视行为，评审者选择最低可能的努力水平，导致评审质量次优。
• 基于评分的内生匹配使系统能够达到比基线机制更高的均衡评分水平，且性能严格更优。
• 该机制支持扩展，通过引入小扰动（如 γ > 0），可进一步改善均衡结果，实现更高的努力水平与评分。
• 理论分析证明，对于基线规则下的任意均衡，当引入小正数 γ 时，扩展规则下可实现更高的均衡评分水平。
• 通过示例说明，评审质量的定量提升得到验证，表明其在性能上显著优于现有机制。