[论文解读] Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments

Steven Jecmen, Hanrui Zhang+4 more|arXiv (Cornell University)|Jun 29, 2020

Expert finding and Q&A systems参考文献 50被引用 23

一句话总结

本文提出一种随机化审稿人分配算法，以缓解学术同行评审中的操纵行为，包括等价报偿式偏袒、破坏性评审（torpedo reviewing）以及审稿人身份暴露问题。通过在概率约束下优化审稿人-论文分配，该方法将恶意分配的成功率限制在50%以内，同时保持超过90%的最优相似度，并防止利益冲突。

ABSTRACT

We consider three important challenges in conference peer review: (i) reviewers maliciously attempting to get assigned to certain papers to provide positive reviews, possibly as part of quid-pro-quo arrangements with the authors; (ii) "torpedo reviewing," where reviewers deliberately attempt to get assigned to certain papers that they dislike in order to reject them; (iii) reviewer de-anonymization on release of the similarities and the reviewer-assignment code. On the conceptual front, we identify connections between these three problems and present a framework that brings all these challenges under a common umbrella. We then present a (randomized) algorithm for reviewer assignment that can optimally solve the reviewer-assignment problem under any given constraints on the probability of assignment for any reviewer-paper pair. We further consider the problem of restricting the joint probability that certain suspect pairs of reviewers are assigned to certain papers, and show that this problem is NP-hard for arbitrary constraints on these joint probabilities but efficiently solvable for a practical special case. Finally, we experimentally evaluate our algorithms on datasets from past conferences, where we observe that they can limit the chance that any malicious reviewer gets assigned to their desired paper to 50% while producing assignments with over 90% of the total optimal similarity. Our algorithms still achieve this similarity while also preventing reviewers with close associations from being assigned to the same paper.

研究动机与目标

• 解决会议同行评审中的三大完整性威胁：恶意偏袒、破坏性评审以及审稿人身份暴露。
• 将这些挑战统一在一个共同的概率框架下，用于审稿人分配。
• 设计一种计算高效的随机化分配算法，满足用户指定的个体及联合审稿人-论文分配概率约束。
• 通过实证评估算法在限制操纵行为的同时，保持高审稿人-论文相似度并防止审稿人利益冲突的表现。

提出的方法

• 作者将随机化分配问题建模为对任意审稿人被分配至某论文的边际概率施加约束。
• 提出一种框架，通过建模审稿人与论文之间的相似度，并利用线性规划计算在这些约束下的最优随机化分配。
• 针对审稿人对的联合约束（例如，防止合作者评审同一论文），识别出一种特殊情形——分区约束问题（Partition-Constrained Problem），该情形可高效求解。
• 该算法设计灵活，允许程序主席在相似度、抗操纵性与冲突预防之间进行权衡调整。
• 该方法支持个体与成对约束，从而有效缓解串通与身份暴露风险。
• 实证评估基于真实会议数据集，比较了随机化算法与确定性分配在多种投标情境下的表现。

实验结果

研究问题

• RQ1 随机化分配算法能否有效将恶意审稿人被分配至目标论文的概率限制在预设阈值（如50%）以内？
• RQ2 在审稿人-论文相似度与抗操纵性方面，随机化算法相较于确定性分配的性能如何？
• RQ3 在保持高分配质量的前提下，是否计算上可行地强制实施对审稿人对的联合约束（例如，防止合作者评审同一论文）？
• RQ4 当分配数据被公开时，该算法是否能防止审稿人身份暴露，即使相似度与代码已公开？
• RQ5 在最大化审稿人-论文相似度与最小化操纵风险或利益冲突之间，存在哪些权衡？

主要发现

• 所提出的算法将任何恶意审稿人被分配至其目标论文的概率上限控制在50%，无论其投标行为如何。
• 该算法实现了与确定性分配相比超过90%的总最优相似度，有效保持了高分配质量。
• 即使对于低相似度审稿人（例如排名第100位的审稿人），该算法也将操纵成功率限制在50%以下，尽管此类情况本就极不可能成功。
• 该算法成功防止了具有密切关联的审稿人被分配至同一论文，从而降低了利益冲突风险。
• 在实验中，确定性算法允许高操纵成功率——例如，排名第8的审稿人可在恶意投标时确保被分配；而随机化方法则始终保持50%的上限。
• 该方法对投标操纵具有鲁棒性，并提供了强有力的匿名性保障，即使在相似度与分配代码被公开的情况下依然有效。