[論文レビュー] Auctions and Prediction Markets for Scientific Peer Review

Siddarth Srinivasan, Jamie Morgenstern|arXiv (Cornell University)|Aug 27, 2021

Auction Theory and Applications被引用数 4

ひとこと要約

本稿では、VCGオークションと予測市場様式のシステム（H-DIPP）を組み合わせた二段階のメカニズムを提案し、科学的共同レビューの質を向上させる。著者がレビュー枠を入札し、レビューの質に応じてレビュアーに報酬が支払われる。オークション収益をインcentive資金として活用することで、レビュアー不足や低努力の問題をメカニズム設計によって解決する。

ABSTRACT

Peer reviewed publications are considered the gold standard in certifying and disseminating ideas that a research community considers valuable. However, we identify two major drawbacks of the current system: (1) the overwhelming demand for reviewers due to a large volume of submissions, and (2) the lack of incentives for reviewers to participate and expend the necessary effort to provide high-quality reviews. In this work, we adopt a mechanism-design approach to propose improvements to the peer review process. We present a two-stage mechanism which ties together the paper submission and review process, simultaneously incentivizing high-quality reviews and high-quality submissions. In the first stage, authors participate in a VCG auction for review slots by submitting their papers along with a bid that represents their expected value for having their paper reviewed. For the second stage, we propose a novel prediction market-style mechanism (H-DIPP) building on recent work in the information elicitation literature, which incentivizes participating reviewers to provide honest and effortful reviews. The revenue raised by the Stage I auction is used in Stage II to pay reviewers based on the quality of their reviews.

研究の動機と目的

• 科学的出版における高い論文提出量に起因するレビュアーの需要増加に対処する。
• 高品質で努力を要するレビューを提供するためのインセンティブが欠如している問題を解決する。
• 経済的メカニズムを通じて著者とレビュアーのインセンティブを整合化するメカニズムを設計する。
• 提出とレビューのプロセスを統合的かつインセンティブ適合性のあるシステムに統合する。
• VCGオークションからの収益を用いて、予測市場様式のメカニズムで高品質なレビューを報酬化する。

提案手法

• 著者が論文を提出する際、レビューの期待価値を示す入札を行う。VCGオークションに参加し、レビュー枠を獲得する。
• VCGオークションは、入札と社会的総福祉の最大化に基づき、どの論文がレビュー対象に選ばれるかを決定する。
• 第二段階では、H-DIPP（誠実意思決定予測市場）と呼ばれる新規メカニズムが用いられ、誠実で努力を要するレビューを促す。
• レビュアーは予測市場形式で論文の信頼性と評価を報告し、予測の正確性に応じて報酬が支払われる。
• 第一段階のオークション収益が第二段階におけるレビュアー報酬の資金として活用され、自己持続的なインセンティブシステムが構築される。
• H-DIPPフレームワークにおける適切なスコアリングルールとインセンティブの整合性により、誠実さと努力が保証される。

実験結果

リサーチクエスチョン

• RQ1 限られたレビュー容量のもとで、著者が高品質な論文を提出するインセンティブをどのように与えることができるか？
• RQ2 外部報酬なしで、レビュアーが誠実かつ努力を要する評価を提供することをどのように保証できるか？
• RQ3 予測市場メカニズムは、科学的共同レビューの文脈において、高品質なレビューを効果的に引き出すことができるか？
• RQ4 レビュー枠のオークションメカニズムをどのように設計すれば、社会的総福祉を最大化すると同時にレビュアーインセンティブを資金化できるか？
• RQ5 オークションからの収益を再利用することで、共同レビューの質と誠実さにどのような影響を与えるか？

主な発見

• 提案された二段階メカニズムは、経済的メカニズムを通じて著者とレビュアーのインセンティブを効果的に整合化した。
• VCGオークションは、著者の入札に基づき、レビューの評価価値を反映してレビュー枠を効率的に割り当てる。
• H-DIPPメカニズムは、レビュアー報酬を予測の正確性に結びつけることで、誠実で努力を要するレビューをインセンティブ化する。
• オークションからの収益が効果的にレビュアー報酬の資金として再利用され、自己持続的なシステムが構築された。
• メカニズム設計により、外部的監視やレピュテーションシステムに依存せずに、レビューの誠実さと努力が保証された。
• オークションと予測市場の統合は、従来の共同レビューとは対照的にスケーラブルでインセンティブ適合性のある代替手段を提供する。