[论文解读] Auctions and Prediction Markets for Scientific Peer Review

Siddarth Srinivasan, Jamie Morgenstern|arXiv (Cornell University)|Aug 27, 2021

Auction Theory and Applications被引用 4

一句话总结

本文提出一种两阶段机制，结合VCG拍卖与类似预测市场机制（H-DIPP），通过经济激励提升科学同行评审质量，激励高质量投稿与评审。作者竞标评审名额，评审人员根据评审质量获得奖励，拍卖收入用于资助激励，从而通过机制设计解决评审人员短缺与评审投入不足的问题。

ABSTRACT

Peer reviewed publications are considered the gold standard in certifying and disseminating ideas that a research community considers valuable. However, we identify two major drawbacks of the current system: (1) the overwhelming demand for reviewers due to a large volume of submissions, and (2) the lack of incentives for reviewers to participate and expend the necessary effort to provide high-quality reviews. In this work, we adopt a mechanism-design approach to propose improvements to the peer review process. We present a two-stage mechanism which ties together the paper submission and review process, simultaneously incentivizing high-quality reviews and high-quality submissions. In the first stage, authors participate in a VCG auction for review slots by submitting their papers along with a bid that represents their expected value for having their paper reviewed. For the second stage, we propose a novel prediction market-style mechanism (H-DIPP) building on recent work in the information elicitation literature, which incentivizes participating reviewers to provide honest and effortful reviews. The revenue raised by the Stage I auction is used in Stage II to pay reviewers based on the quality of their reviews.

研究动机与目标

• 为应对科学出版中投稿量高导致的同行评审人员需求增长问题。
• 解决评审人员缺乏动力提供高质量、高投入评审的问题。
• 设计一种通过经济机制协调作者与评审人员激励的机制。
• 将投稿与评审流程整合为统一的、激励相容的系统。
• 利用VCG拍卖的收入，通过类似预测市场的机制资助高质量评审。

提出的方法

• 作者提交论文并出价，表示其对评审的预期价值，参与VCG拍卖以获取评审名额。
• VCG拍卖根据出价和福利最大化原则，确定哪些论文被选中评审。
• 第二阶段采用一种名为H-DIPP（诚实决策预测市场）的新机制，以获取诚实且投入的评审。
• 评审人员以预测市场形式报告其对论文的信心度与评估结果，支付金额基于预测准确性。
• 第一阶段拍卖的收入用于资助第二阶段的评审报酬，形成自维持的激励系统。
• 该机制通过适当的评分规则与H-DIPP框架中的激励对齐，确保评审的诚实性与投入度。

实验结果

研究问题

• RQ1 在评审容量有限的系统中，如何激励作者提交高质量论文？
• RQ2 如何确保评审人员在无外部奖励的情况下提供诚实且投入的评估？
• RQ3 预测市场机制能否在科学同行评审背景下有效获取高质量评审？
• RQ4 如何设计评审名额的拍卖机制，在最大化社会福利的同时资助评审激励？
• RQ5 拍卖收入的循环利用对同行评审质量与诚实性有何影响？

主要发现

• 所提出的两阶段机制通过经济机制成功协调了作者与评审人员的激励。
• VCG拍卖根据作者出价高效分配评审名额，反映了评审的预期价值。
• H-DIPP机制通过将评审报酬与预测准确性挂钩，激励评审人员提供诚实且投入的评审。
• 拍卖收入被有效循环利用以资助评审报酬，形成自维持的系统。
• 机制设计确保了评审的诚实性与投入度，无需依赖外部监管或声誉系统。
• 拍卖与预测市场机制的整合为传统同行评审提供了一种可扩展且激励相容的替代方案。