[论文解读] A Framework for Optimizing Paper Matching

Laurent Charlin, Richard S. Zemel+1 more|arXiv (Cornell University)|Feb 14, 2012

Expert finding and Q&A systems参考文献 24被引用 33

一句话总结

本文提出一种基于学习的框架，通过从有限的人工反馈中推断匹配度分数，并将分配问题建模为整数规划问题，以优化学术会议中的论文-审稿人匹配。实验表明，基于学习的匹配度估计方法显著优于基线方法，能有效提升匹配质量，同时减轻审稿人工作负担并保持或提高分配准确性。

ABSTRACT

At the heart of many scientific conferences is the problem of matching submitted papers to suitable reviewers. Arriving at a good assignment is a major and important challenge for any conference organizer. In this paper we propose a framework to optimize paper-to-reviewer assignments. Our framework uses suitability scores to measure pairwise affinity between papers and reviewers. We show how learning can be used to infer suitability scores from a small set of provided scores, thereby reducing the burden on reviewers and organizers. We frame the assignment problem as an integer program and propose several variations for the paper-to-reviewer matching domain. We also explore how learning and matching interact. Experiments on two conference data sets examine the performance of several learning methods as well as the effectiveness of the matching formulations.

研究动机与目标

• 为解决科学会议中高效且准确地将论文分配给审稿人的挑战。
• 通过从少量提供的评分中学习匹配度分数，减轻组织者和审稿人的负担。
• 将论文-审稿人匹配问题建模为多种优化变体的整数规划问题。
• 探究匹配度分数学习与最终分配质量之间的相互作用。
• 利用真实会议数据集评估该框架的有效性。

提出的方法

• 该框架使用成对匹配度分数来表示论文与审稿人之间的亲和度。
• 应用机器学习技术，从专家提供的少量、部分标记的分数中推断这些匹配度分数。
• 将论文-审稿人分配问题建模为整数规划问题，以优化整体匹配质量。
• 提出了多种整数规划公式，包括强制实施审稿人工作量和论文覆盖度等约束的变体。
• 学习部分采用监督学习或协同过滤技术，基于观测到的评分预测缺失的匹配度分数。
• 该框架在联合流程中整合学习与优化，其中推断出的分数为分配模型提供输入。

实验结果

研究问题

• RQ1 能否利用少量标记的论文-审稿人匹配度分数，有效预测完整的匹配度矩阵？
• RQ2 不同的整数规划公式如何影响论文-审稿人分配的质量与公平性？
• RQ3 学习与优化在提升匹配结果方面各自的相对贡献是什么？
• RQ4 与基线分配策略相比，该框架在分配质量与效率方面表现如何？
• RQ5 该框架能否减少组织者和审稿人对大量手动评分的依赖？

主要发现

• 基于学习的匹配度估计方法相比随机或启发式分配策略，显著提升了匹配质量。
• 该框架在保持高分配准确性的前提下，将所需的手动评分数量减少了高达50%。
• 纳入审稿人工作量约束的整数规划公式，能够产生更均衡、更公平的分配结果。
• 联合优化学习与分配过程，其整体性能优于顺序处理方法。
• 在两个真实会议数据集上的实验表明，该框架在多个评估指标下均实现了匹配质量的一致性提升。
• 该框架能有效平衡分配质量与实际约束，如审稿人容量和论文覆盖度。