[论文解读] Avoiding a Tragedy of the Commons in the Peer Review Process

D. Sculley, Jasper Snoek+1 more|arXiv (Cornell University)|Dec 18, 2018

scientometrics and bibliometrics research参考文献 5被引用 15

一句话总结

本文通过引入标准化评分表并倡导经济补偿——具体为每篇审稿1,000美元——对机器学习领域的同行评审制度提出结构性改革，以应对投稿量激增带来的压力。作者认为，此举将同行评审视为专业服务，可防止‘公地悲剧’，提升评审的一致性、效率与评审者的积极性。

ABSTRACT

Peer review is the foundation of scientific publication, and the task of reviewing has long been seen as a cornerstone of professional service. However, the massive growth in the field of machine learning has put this community benefit under stress, threatening both the sustainability of an effective review process and the overall progress of the field. In this position paper, we argue that a tragedy of the commons outcome may be avoided by emphasizing the professional aspects of this service. In particular, we propose a rubric to hold reviewers to an objective standard for review quality. In turn, we also propose that reviewers be given appropriate incentive. As one possible such incentive, we explore the idea of financial compensation on a per-review basis. We suggest reasonable funding models and thoughts on long term effects.

研究动机与目标

• 解决因会议投稿量呈指数级增长而对机器学习同行评审造成的不可持续压力。
• 防止因无偿、非标准化的同行评审被过度使用而导致评审质量下降与社区信任受损的‘公地悲剧’。
• 通过引入客观评分表来评估评审质量，提升评审质量与一致性。
• 通过按市场水平支付经济补偿（如每篇审稿1,000美元）激励高质量评审。
• 通过多阶段筛选机制与重新评估评审工作量标准，减轻低质量论文带来的评审负担。

提出的方法

• 提出一个包含七个要点的评分表，附带检查清单，依据清晰度、原创性、重要性与技术严谨性等标准评估评审质量。
• 建议每篇审稿支付1,000美元，基于每小时250美元的市场水平（即4小时专家工作量），以使激励与专业标准保持一致。
• 推荐通过作者共同支付、赞助或机构资助等机制为评审补偿提供资金支持。
• 倡导建立筛选系统，尽早剔除低质量论文，减少不必要的评审工作量。
• 鼓励投资开发更高效的评审工具，以提升效率，尤其在评审时间被赋予经济价值时。
• 提出若获得补偿，评审者可自愿承担更多论文，从而实现对相似投稿的更深入比较分析。

实验结果

研究问题

• RQ1 如何在机器学习会议中客观衡量并标准化同行评审质量？
• RQ2 何种经济补偿水平可使评审成为可持续且优先考虑的专业活动？
• RQ3 经济激励如何提升同行评审流程的效率与公平性？
• RQ4 哪些结构性改革可减轻评审低质量论文的负担？
• RQ5 经济补偿对评审者专业能力、参与度及科研文化可能产生何种长期影响？

主要发现

• 对过往NeurIPS与ICLR审稿的回顾显示，很难找到同时全面评估质量、清晰度、原创性与重要性的完整高质量审稿。
• 2014年NeurIPS的实验表明，近60%的论文在第一委员会被接受，却在第二家独立委员会遭到拒绝，凸显评审结果的不一致性。
• 2018年，NeurIPS有1,366篇投稿的平均得分为4或以下，却消耗了超过4,000份审稿——相当于近700名评审者的全部审稿能力，尽管这些论文几乎可确定会被拒稿。
• 作者估算，一篇高质量审稿至少需要4小时专家时间，据此以每小时250美元的机器学习咨询市场水平，每篇审稿1,000美元的补偿具有合理性。
• 经济补偿可使评审者优先处理审稿工作，减少对经验不足评审者的依赖，并提升评审一致性。
• 向有偿、专业化的评审模式转变，或使经验丰富的评审者承担更多论文，从而提升对相似投稿的校准程度与评估深度。