[论文解读] PeerReview4All: Fair and Accurate Reviewer Assignment in Peer Review

Ivan Stelmakh, Nihar B. Shah+1 more|arXiv (Cornell University)|Jun 16, 2018

Game Theory and Voting Systems被引用 31

一句话总结

PeerReview4All 提出了一种新颖的审稿人分配算法，通过最大化最小公平性（即最大化最弱势论文的审稿质量）来优化公平性，同时确保在识别顶尖论文方面具有高的统计准确性。该算法在结构化的流网络上使用增量最大流过程，生成近似最优的分配方案，在客观评分和主观评分的审稿人评分模型下，均能提供公平性和准确性的理论保证。

ABSTRACT

We consider the problem of automated assignment of papers to reviewers in conference peer review, with a focus on fairness and statistical accuracy. Our fairness objective is to maximize the review quality of the most disadvantaged paper, in contrast to the commonly used objective of maximizing the total quality over all papers. We design an assignment algorithm based on an incremental max-flow procedure that we prove is near-optimally fair. Our statistical accuracy objective is to ensure correct recovery of the papers that should be accepted. We provide a sharp minimax analysis of the accuracy of the peer-review process for a popular objective-score model as well as for a novel subjective-score model that we propose in the paper. Our analysis proves that our proposed assignment algorithm also leads to a near-optimal statistical accuracy. Finally, we design a novel experiment that allows for an objective comparison of various assignment algorithms, and overcomes the inherent difficulty posed by the absence of a ground truth in experiments on peer-review. The results of this experiment as well as of other experiments on synthetic and real data corroborate the theoretical guarantees of our algorithm.

研究动机与目标

• 解决大规模会议同行评审中公平且准确的审稿人分配的迫切需求，因为有偏或次优的分配可能对非主流或跨学科研究造成不成比例的伤害。
• 克服先前方法的局限性，这些方法仅优化总审稿质量或确定性目标，而未考虑公平性或统计准确性。
• 设计一种算法，确保最弱势的论文获得尽可能高的审稿质量，与最大最小公平性原则保持一致。
• 在存在噪声和主观性审稿评分的情况下，仍能实现对真实顶尖论文集合的强统计准确性。
• 开发一种新颖的实验框架，可在无真实标签的情况下客观比较分配算法，从而实现对公平性和准确性主张的实证验证。

提出的方法

• 构建一个流网络，其中节点代表论文和审稿人，边权重编码审稿人与论文之间的相似度评分。
• 使用增量最大流过程生成多个候选分配方案，选择在公平性和准确性方面最优的方案。
• 应用递归公平性优化：首先固定最弱势论文的分配，然后依次处理下一位最弱势的论文，以确保逐步实现公平性。
• 整合统计模型——包括客观评分模型和新颖的主观评分模型——其中审稿人评分被视为具有已知方差的随机变量。
• 使用平均估计器从审稿人评分中恢复论文排名，并推导估计误差的极小化最大（minimax）边界，以评估统计准确性。
• 利用理论分析证明 PeerReview4All 在公平性方面接近最优（在最优最大最小公平性常数因子内），在统计准确性方面也接近最优。

实验结果

研究问题

• RQ1 自动化审稿人分配算法能否在确保识别顶尖论文的高统计准确性的同时，实现接近最优的最大最小公平性？
• RQ2 在现实的审稿人行为模型下，所提出的 PeerReview4All 算法与现有方法相比，在公平性和准确性方面表现如何？
• RQ3 能否设计一种新颖的实验协议，以客观方式评估审稿人分配算法，而无需依赖真实标签？
• RQ4 在同行评审场景中，客观评分模型和主观评分模型的统计准确性，其极小化最大误差边界是什么？
• RQ5 PeerReview4All 中的增量最大流构造是否能在审稿人与论文之间多样的相似性结构下，提供可证明的公平性和准确性保证？

主要发现

• PeerReview4All 实现了接近最优的公平性，其最大最小公平性目标被限制在理论最优值的常数因子之内。
• 该算法在恢复论文真实排名方面表现出强统计准确性，其极小化最大误差边界随审稿人负载和评分方差的增加而有利地缩放。
• 所提出的实验框架通过模拟审稿人反馈并测量真实论文排名的恢复情况，实现了对分配算法的客观比较。
• 在合成数据和真实数据上的实证评估表明，PeerReview4All 在公平性和准确性方面均优于基线方法，尤其在审稿人能力不平衡的情境下表现更优。
• 理论分析表明，该算法的公平性和准确性保证在客观评分和新颖的主观评分模型下均成立。
• 即使在审稿人评分存在噪声或主观性的情况下，PeerReview4All 仍保持强大性能，展现出对同行评审中常见挑战的鲁棒性。