[论文解读] De-anonymization of authors through arXiv submissions during double-blind review

Homanga Bharadhwaj, Dylan Turpin+2 more|arXiv (Cornell University)|Jul 1, 2020

scientometrics and bibliometrics research参考文献 4被引用 8

一句话总结

本研究探讨了在双盲评审期间，arXiv预印本可能导致作者身份暴露，并影响录用结果。基于ICLR 2019–2020年的数据（n=5050），研究发现，对于高声誉作者，预印本发布与录用之间存在统计上显著的正相关关系，且当身份暴露时，低信心度评审者对知名作者的偏见更强。

ABSTRACT

In this paper, we investigate the effects of releasing arXiv preprints of papers that are undergoing a double-blind review process. In particular, we ask the following research question: What is the relation between de-anonymization of authors through arXiv preprints and acceptance of a research paper at a (nominally) double-blind venue? Under two conditions: papers that are released on arXiv before the review phase and papers that are not, we examine the correlation between the reputation of their authors with the review scores and acceptance decisions. By analyzing a dataset of ICLR 2020 and ICLR 2019 submissions (n=5050), we find statistically significant evidence of positive correlation between percentage acceptance and papers with high reputation released on arXiv. In order to understand this observed association better, we perform additional analyses based on self-specified confidence scores of reviewers and observe that less confident reviewers are more likely to assign high review scores to papers with well known authors and low review scores to papers with less known authors, where reputation is quantified in terms of number of Google Scholar citations. We emphasize upfront that our results are purely correlational and we neither can nor intend to make any causal claims. A blog post accompanying the paper and our scraping code will be linked in the project website https://sites.google.com/view/deanon-arxiv/home

研究动机与目标

• 检验在双盲评审之前或期间发布论文是否会影响录用率。
• 调查作者声誉（以Google Scholar引用次数衡量）与双盲会议中评审结果之间的相关性。
• 分析评审者信心水平是否调节作者声誉对评审分数的影响。
• 评估通过arXiv预印本导致的去匿名化是否在同行评审过程中引入偏见。
• 提出政策和技术解决方案，以减少双盲评审中因预印本导致的作者去匿名化所引发的偏见。

提出的方法

• 通过OpenReview收集ICLR 2019和2020投稿数据，包括作者单位、评审分数和录用决定。
• 利用作者列表和首次上传时间戳将投稿映射到arXiv，避免基于标题匹配，以应对标题变化问题。
• 使用Google Scholar引用次数和h指数量化作者声誉，通过程序化爬取工具（如“scholarly”）获取。
• 分析评审分数和录用结果，比较在评审前/期间发布arXiv的论文与未发布的论文。
• 根据评审者自报的信心评分对评审者进行分组，以评估低信心评审者在作者身份暴露后是否对高声誉作者表现出更强偏见。
• 采用观察性、相关性分析方法，基于5050篇投稿检测模式，不进行因果推断。

实验结果

研究问题

• RQ1 在双盲评审之前或期间发布论文到arXiv是否与高声誉作者的更高录用率相关？
• RQ2 作者声誉（以引用次数和h指数衡量）如何影响双盲会议中的评审分数和录用决策？
• RQ3 当作者身份通过arXiv预印本被去匿名化时，自报信心较低的评审者是否对知名作者的论文表现出更强偏见？
• RQ4 通过arXiv去匿名化的影响是否在临界论文中更为显著？
• RQ5 哪些系统性变革可以减轻双盲同行评审中因预印本导致的作者去匿名化所引发的偏见？

主要发现

• 以Google Scholar引用次数衡量，高声誉作者的论文在arXiv上发布与录用率之间存在统计上显著的正相关关系。
• 引用次数较高的作者所撰写的论文更可能在双盲评审之前或期间发布到arXiv。
• 自报信心较低的评审者在通过arXiv预印本暴露作者身份后，更可能给予知名作者的论文更高的评审分数。
• 该偏见效应在临界论文中更强，表明去匿名化可能在接近决定的论文中起到关键作用。
• 本研究未发现因果证据，但观察到的相关性表明，预印本发布可能损害双盲评审的公平性。
• 作者提出政策和技术解决方案，如匿名化arXiv上传和限制每篇论文的低信心评审者数量，以减少偏见。