[논문 리뷰] Auctions and Prediction Markets for Scientific Peer Review

Siddarth Srinivasan, Jamie Morgenstern|arXiv (Cornell University)|2021. 08. 27.

Auction Theory and Applications인용 수 4

한 줄 요약

이 논문은 과학적 동료 검토를 향상시키기 위해 VCG 경매와 예측 시장 방식의 시스템(H-DIPP)을 조합한 이단계 메커니즘을 제안한다. 이는 고질적인 제출물과 리뷰의 질을 유도하기 위한 인센티브를 제공한다. 저자들이 리뷰 슬롯을 입찰하고, 리뷰어들은 리뷰의 질에 따라 보상받는다. 이 경매 수익은 인센티브를 지원하는 데 사용되며, 이는 리뷰어 부족과 낮은 노력 문제를 메커니즘 설계를 통해 해결한다.

ABSTRACT

Peer reviewed publications are considered the gold standard in certifying and disseminating ideas that a research community considers valuable. However, we identify two major drawbacks of the current system: (1) the overwhelming demand for reviewers due to a large volume of submissions, and (2) the lack of incentives for reviewers to participate and expend the necessary effort to provide high-quality reviews. In this work, we adopt a mechanism-design approach to propose improvements to the peer review process. We present a two-stage mechanism which ties together the paper submission and review process, simultaneously incentivizing high-quality reviews and high-quality submissions. In the first stage, authors participate in a VCG auction for review slots by submitting their papers along with a bid that represents their expected value for having their paper reviewed. For the second stage, we propose a novel prediction market-style mechanism (H-DIPP) building on recent work in the information elicitation literature, which incentivizes participating reviewers to provide honest and effortful reviews. The revenue raised by the Stage I auction is used in Stage II to pay reviewers based on the quality of their reviews.

연구 동기 및 목표

• 과학적 출판에서 높은 제출량으로 인해 증가하는 동료 검토자 수요를 해결하기 위해.
• 높은 품질의, 노력이 수반되는 리뷰를 제공하기 위한 리뷰어의 동기 부여 부족 문제를 해결하기 위해.
• 경제적 메커니즘을 통해 저자와 리뷰어의 인센티브를 조율하는 메커니즘을 설계하기 위해.
• 제출 및 리뷰 프로세스를 통합된, 인센티브 호환 가능한 시스템으로 통합하기 위해.
• VCG 경매에서 얻는 수익을 활용해 예측 시장 방식의 메커니즘을 통해 고질적인 리뷰를 보상하기 위해.

제안 방법

• 저자들이 리뷰에 대한 기대 가치를 나타내는 입찰을 함께 제출하며, 리뷰 슬롯을 확보하기 위해 VCG 경매에 참가한다.
• VCG 경매는 입찰과 사회적 복지 최적화 기반으로 어떤 논문이 리뷰 대상으로 선정될지 결정한다.
• 두 번째 단계에서 새로운 메커니즘인 H-DIPP(Honest-Decision Prediction Market)를 사용하여 솔직하고 노력이 수반되는 리뷰를 이끌어낸다.
• 리뷰어들은 예측 정확도에 따라 지급되는 보상 기반으로 예측 시장 형식으로 논문에 대한 자신감과 평가를 보고한다.
• 제1단계에서 얻은 경매 수익은 제2단계에서 리뷰어 보상의 자금으로 사용되며, 자가 유지 가능한 인센티브 시스템을 만든다.
• H-DIPP 프레임워크 내에서 적절한 점수 규칙과 인센티브 조율을 통해 진실성과 노력이 보장된다.

실험 결과

연구 질문

• RQ1 한정된 리뷰 능력이 있는 시스템에서 저자들이 고질적인 논문을 제출하도록 유도하는 방법은 무엇인가?
• RQ2 외부 보상 없이도 리뷰어가 솔직하고 노력이 수반되는 평가를 제공하도록 보장할 수 있는가?
• RQ3 예측 시장 메커니즘이 과학적 동료 검토 맥락에서 고질적인 리뷰를 효과적으로 이끌어낼 수 있는가?
• RQ4 리뷰 슬롯을 위한 경매 메커니즘은 사회적 복지를 극대화하면서도 리뷰어 인센티브를 자금 지원할 수 있도록 어떻게 설계할 수 있는가?
• RQ5 경매 수익을 재활용하는 것이 동료 검토의 품질과 솔직성에 어떤 영향을 미치는가?

주요 결과

• 제안된 이단계 메커니즘은 경제적 메커니즘을 통해 저자와 리뷰어의 인센티브를 효과적으로 조율한다.
• VCG 경매는 저자들의 입찰 기반으로 리뷰 슬롯을 효율적으로 배분하며, 리뷰의 기대 가치를 반영한다.
• H-DIPP 메커니즘은 리뷰어 보상이 예측 정확도에 연동되어 있음을 통해 솔직하고 노력이 수반되는 리뷰를 유도한다.
• 경매 수익은 효과적으로 리뷰어 보상 자금으로 재활용되어 자가 유지 가능한 시스템을 조성한다.
• 메커니즘 설계는 외부 강제 또는 명성 체계에 의존하지 않고도 리뷰의 진실성과 노력 보장을 보장한다.
• 경매와 예측 시장의 통합은 기존 동료 검토 방식에 비해 확장 가능하고 인센티브 호환 가능한 대안을 제공한다.