[论文解读] A SUPER* Algorithm to Optimize Paper Bidding in Peer Review

Tanner Fiez, Nihar B. Shah+1 more|arXiv (Cornell University)|Jun 27, 2020

Expert finding and Q&A systems参考文献 56被引用 14

一句话总结

本文提出 SUPER*，一种受 A* 启发的算法，用于优化会议同行评审中的论文投标顺序，平衡投标覆盖率与评审人相关性。通过动态优先处理投标较少且相关性更高的论文，SUPER* 相较基线方法将投标不足的论文数量减少了 50–75%。在社区模型下具有理论最优性保证，并在 ICLR 2018 数据上展现出强劲的实证性能。

ABSTRACT

A number of applications involve sequential arrival of users, and require showing each user an ordering of items. A prime example (which forms the focus of this paper) is the bidding process in conference peer review where reviewers enter the system sequentially, each reviewer needs to be shown the list of submitted papers, and the reviewer then "bids" to review some papers. The order of the papers shown has a significant impact on the bids due to primacy effects. In deciding on the ordering of papers to show, there are two competing goals: (i) obtaining sufficiently many bids for each paper, and (ii) satisfying reviewers by showing them relevant items. In this paper, we begin by developing a framework to study this problem in a principled manner. We present an algorithm called SUPER*, inspired by the A* algorithm, for this goal. Theoretically, we show a local optimality guarantee of our algorithm and prove that popular baselines are considerably suboptimal. Moreover, under a community model for the similarities, we prove that SUPER* is near-optimal whereas the popular baselines are considerably suboptimal. In experiments on real data from ICLR 2018 and synthetic data, we find that SUPER* considerably outperforms baselines deployed in existing systems, consistently reducing the number of papers with fewer than requisite bids by 50-75% or more, and is also robust to various real world complexities.

研究动机与目标

• 为解决同行评审投标中论文展示顺序的优化挑战，其中优先效应会使评审人更倾向于选择排名靠前的论文。
• 平衡两个相互竞争的目标：确保每篇论文获得最低数量的投标，同时通过相关性最大化评审人满意度。
• 开发一种有原则的、理论基础坚实的算法，在实践中优于现有启发式方法。
• 在评审人-论文相似性的社区模型下，证明算法在局部和近似最优性方面的表现。
• 在 ICLR 2018 的真实世界数据和合成数据集上，展示算法的鲁棒性与可扩展性。

提出的方法

• SUPER* 使用基于启发式的 A* 启发式搜索，根据结合论文侧收益与评审人侧收益的加权得分，为每位评审人排序论文。
• 该算法计算权重 αi,j = f^S(Si,j)(γp(gi−1,j + hi,j + 1) − γp(gi−1,j + hi,j)) + λγr^S(Si,j)，综合考虑投标缺口与相似性。
• 按 αi,j 的降序对论文进行排序，以优先为每位评审人安排高影响力且相关的论文。
• 该方法支持非线性收益函数，并通过动态投标计数更新机制整合优先效应。
• 由于每位评审人的优化可解耦，该算法在论文侧收益函数为线性时被证明为最优。
• 其每位评审人的时间复杂度为 O(d log d)，使其在大规模会议中具备可扩展性。

实验结果

研究问题

• RQ1 是否有原则的算法能够在保持评审人相关性的同时，改善同行评审投标中论文的投标分布？
• RQ2 SUPER* 在减少投标不足论文数量方面，相较于现有基线方法表现如何？
• RQ3 在何种条件下 SUPER* 具有理论最优性或近似最优性？
• RQ4 SUPER* 对真实世界复杂性（如噪声相似性评分和评审人顺序到达）的鲁棒性如何？
• RQ5 在不同投标阈值和相似性分布下，该算法是否保持性能稳定？

主要发现

• 在 ICLR 2018 数据上，SUPER* 相较现有基线方法，将投标数量少于最低要求的论文数量减少了 50–75% 或更多。
• 在评审人-论文相似性的社区模型下，该算法表现出近似最优性，而主流基线方法则显著次优。
• 当论文侧收益函数为线性时，SUPER* 实现局部最优性，并且可证明为全局最优。
• 实证结果表明，无论在真实数据还是合成数据上，该算法均表现出一致的性能提升，对噪声和不同配置具有鲁棒性。
• 该算法每位评审人的时间复杂度为 O(d log d)，使其能够扩展至大规模同行评审系统。
• 基于权重的排序机制有效平衡了投标覆盖率与相关性，优于贪婪策略和仅基于相似性的启发式方法。