[论文解读] Accelerating the pace of discovery by changing the peer review algorithm

Stefano Allesina|ArXiv.org|Nov 2, 2009

Evolutionary Game Theory and Cooperation参考文献 13被引用 5

一句话总结

本文提出了一种新型同行评审系统，其中期刊竞标论文而非作者向期刊投稿，采用基于代理的模拟模型测试其影响。该替代系统可加快发表速度，将接受率从63.8%提升至98%，将每篇论文的评审次数从10次减少至3次，同时提升作者的发表数量与影响力，优化评审工作量，并提高整个科学生态系统的效率。

ABSTRACT

The number of scientific publications is constantly rising, increasing the strain on the review process. The number of submissions is actually higher, as each manuscript is often reviewed several times before publication. To face the deluge of submissions, top journals reject a considerable fraction of manuscripts without review, potentially declining manuscripts with merit. The situation is frustrating for authors, reviewers and editors alike. Recently, several editors wrote about the ``tragedy of the reviewer commons', advocating for urgent corrections to the system. Almost every scientist has ideas on how to improve the system, but it is very difficult, if not impossible, to perform experiments to test which measures would be most effective. Surprisingly, relatively few attempts have been made to model peer review. Here I implement a simulation framework in which ideas on peer review can be quantitatively tested. I incorporate authors, reviewers, manuscripts and journals into an agent-based model and a peer review system emerges from their interactions. As a proof-of-concept, I contrast an implementation of the current system, in which authors decide the journal for their submissions, with a system in which journals bid on manuscripts for publication. I show that, all other things being equal, this latter system solves most of the problems currently associated with the peer review process. Manuscripts' evaluation is faster, authors publish more and in better journals, and reviewers' effort is optimally utilized. However, more work is required from editors. This modeling framework can be used to test other solutions for peer review, leading the way for an improvement of how science is disseminated.

研究动机与目标

• 为解决当前同行评审系统中存在的低效与延迟问题，即高投稿量和高拒稿率对作者、评审人和编辑造成的压力。
• 测试从作者投稿转向期刊竞标论文的模式是否能提升发表速度、接受率和科学影响力。
• 开发并验证一个定量的基于代理的同行评审模型，模拟作者、评审人、期刊和论文，其主题、质量与新颖性均采用概率分布。
• 评估该系统是否能减少重复评审，提升高影响力期刊的公平可及性，并增强整体科研产出。

提出的方法

• 作者被建模为具有三个贝塔分布特征的代理：主题相关性（T）、技术质量（Q）和新颖性（N），这些特征定义了论文的特性。
• 在当前系统（CS）中，作者根据期刊影响力与接受概率的综合得分向期刊投稿，评审人根据熟悉度估算论文特征。
• 在替代系统（AS）中，论文首先提交至预印本库；作者必须评审其他三篇论文后方可提交自己的论文，从而确保评审参与与投稿直接挂钩。
• 一旦论文获得三份评审意见并完成修改，将进入第二个池，期刊根据其估算特征和期刊偏好对论文进行竞标。
• 两个系统中的编辑均使用基于平均评审人估算和期刊特定阈值（主题契合度、质量与新颖性）的 probabilistic 接受函数。
• 该模型模拟了10年科学产出，包含500名作者与50家期刊，对比了CS与AS设置下的发表率、评审次数与影响力。

实验结果

研究问题

• RQ1 将同行评审中的作者投稿模式转变为期刊竞标模式，是否能缩短发表时间并提高论文接受率？
• RQ2 一种将论文投稿与强制性同行评审参与挂钩的系统，是否能提升评审人参与度并减少每篇论文的评审负担？
• RQ3 该替代系统如何影响作者间出版物的分布，特别是在职业影响与公平性方面的表现？
• RQ4 新系统在多大程度上实现了评审工作量相对于论文质量与新颖性的最优分配？

主要发现

• 替代系统（AS）的论文接受率达到98%（14,683篇中14,984篇），而当前系统（CS）为63.8%，AS仅5,410篇论文被放弃，而CS中为5,410篇。
• 每篇论文的平均评审数从CS中的10.02次降至AS中的精确3次，显著减少了重复性工作。
• 92%的作者在AS中发表了更多论文，且所有作者因发表频率提高和期刊定位更优，累积影响力得分均更高。
• 该系统通过消除多轮投稿和简化评审周期，显著缩短了接受时间，所有决定均在评审完成后一个月内做出。
• 模型显示，期刊竞标使论文更高效地分配至具备相关专长的期刊，提升了主题契合度，减少了不匹配的投稿。
• 该替代系统通过要求作者在投稿前评审三篇论文，确保活跃研究人员按其生产力比例贡献评审工作，从而优化了评审工作量。