[论文解读] Anomalies in the peer-review system: A case study of the journal of High Energy Physics

Sandipan Sikdar, Matteo Marsili+2 more|arXiv (Cornell University)|Aug 17, 2016

Anomaly Detection Techniques and Applications参考文献 12被引用 3

一句话总结

本研究提出了一种异常检测框架，利用同行评审历史和引用数据，在《高能物理杂志》（JHEP）中识别表现不佳的编辑和审稿人。通过在行为特征（如审稿频率、延迟、接受率及审稿人选择模式）上应用k-means聚类，识别出26.8%的编辑和14.5%的审稿人为异常，其发表的论文获得的引用显著更少，而被拒绝的论文则被高度引用。

ABSTRACT

Peer-review system has long been relied upon for bringing quality research to the notice of the scientific community and also preventing flawed research from entering into the literature. The need for the peer-review system has often been debated as in numerous cases it has failed in its task and in most of these cases editors and the reviewers were thought to be responsible for not being able to correctly judge the quality of the work. This raises a question "Can the peer-review system be improved?" Since editors and reviewers are the most important pillars of a reviewing system, we in this work, attempt to address a related question - given the editing/reviewing history of the editors or re- viewers "can we identify the under-performing ones?", with citations received by the edited/reviewed papers being used as proxy for quantifying performance. We term such review- ers and editors as anomalous and we believe identifying and removing them shall improve the performance of the peer- review system. Using a massive dataset of Journal of High Energy Physics (JHEP) consisting of 29k papers submitted between 1997 and 2015 with 95 editors and 4035 reviewers and their review history, we identify several factors which point to anomalous behavior of referees and editors. In fact the anomalous editors and reviewers account for 26.8% and 14.5% of the total editors and reviewers respectively and for most of these anomalous reviewers the performance degrades alarmingly over time.

研究动机与目标

• 探究是否可基于历史评审模式和引用结果检测同行评审编辑与审稿人的异常行为。
• 识别与评审表现不佳相关的具体行为指标，例如过度分配频率或延迟报告。
• 开发一种无监督框架，基于可测量的评审行为和引用影响，将编辑与审稿人分类为异常或正常。
• 评估异常审稿人的长期表现趋势，特别是其质量是否随时间下降。

提出的方法

• 构建了包含29,000篇JHEP论文（1997–2015年）的数据集，涵盖95位编辑和4,035位审稿人，包含评审历史和引用次数。
• 为编辑定义了4个行为特征：分配频率（MEAT）、审稿人多样性（RDI）、自我分配率（RADI）和自我评审（SRI）。
• 为审稿人定义了7个行为特征：审稿频率（MRAT）、评审速度（MRSD）、通知延迟（TDI）、编辑多样性（EDI）、接受率（AR）、拒绝延迟（MTD）和拒绝频率（DFI）。
• 应用k=2的k-means聚类，基于特征向量将编辑与审稿人分类为异常与正常组别。
• 使用被接受与被拒绝论文的引用次数作为表现的代理指标，比较异常组与正常组之间的累积引用分布。
• 分析由异常审稿人接受的论文的时间引用趋势，以描绘其表现随时间的退化情况。

实验结果

研究问题

• RQ1 编辑与审稿人哪些行为模式可指示异常的同行评审表现？
• RQ2 异常审稿人与编辑在被接受论文的引用数量偏低、被拒绝论文的引用数量偏高方面，相关性如何？
• RQ3 异常审稿人的表现如何随时间演变，特别是其接受论文的引用趋势如何？
• RQ4 无监督聚类技术能否有效利用评审历史与引用数据区分表现不佳的编辑与审稿人？

主要发现

• 通过在行为特征上应用k-means聚类，识别出JHEP中26.8%的编辑和14.5%的审稿人为异常。
• 由异常编辑接受的论文平均获得的引用显著少于由正常编辑接受的论文。
• 由异常审稿人拒绝的论文被引用次数显著高于由正常审稿人拒绝的论文，表明可能错失了高影响力的工作。
• 在异常审稿人中，42.5%表现出持续下降的引用表现，而22.6%起初表现良好但后期出现退化。
• 由异常审稿人接受的论文的累积引用分布与正常审稿人相比具有统计显著性下降。
• 频繁拒绝或延迟报告、接受率极高或极低，或仅被一位或少数几位编辑指派的审稿人，更可能被分类为异常。