[论文解读] A Unified Statistical Learning Model for Rankings and Scores with Application to Grant Panel Review

Michael Pearce, Elena A. Erosheva|arXiv (Cornell University)|Jan 7, 2022

Game Theory and Voting Systems被引用 6

一句话总结

本文提出马洛斯-二项模型，这是一种统一的统计框架，无需数据转换即可联合建模排名与评分，通过共享的物体质量、共识排名和共识强度参数，将马洛斯 $φ$ 排名模型与二项分布评分模型相结合。该模型利用基于 A* 算法的树搜索算法实现精确的最大似然估计，并在真实同行评审数据中展示了改进的偏好聚合效果，同时具备适当的不确定性量化能力。

ABSTRACT

Rankings and scores are two common data types used by judges to express preferences and/or perceptions of quality in a collection of objects. Numerous models exist to study data of each type separately, but no unified statistical model captures both data types simultaneously without first performing data conversion. We propose the Mallows-Binomial model to close this gap, which combines a Mallows' $ϕ$ ranking model with Binomial score models through shared parameters that quantify object quality, a consensus ranking, and the level of consensus between judges. We propose an efficient tree-search algorithm to calculate the exact MLE of model parameters, study statistical properties of the model both analytically and through simulation, and apply our model to real data from an instance of grant panel review that collected both scores and partial rankings. Furthermore, we demonstrate how model outputs can be used to rank objects with confidence. The proposed model is shown to sensibly combine information from both scores and rankings to quantify object quality and measure consensus with appropriate levels of statistical uncertainty.

研究动机与目标

• 解决缺乏能够同时分析排名与评分而无需数据转换的统计模型的问题。
• 开发一种统一模型，通过共享的物体质量与共识参数，同时捕捉相对排名与数值评分。
• 利用高效的树搜索算法，实现模型参数的精确最大似然估计。
• 在结合评分与部分排名输入的真实资助评审面板数据上评估模型性能。
• 展示模型如何生成带有置信区间的对象排名列表，从而改进偏好聚合。

提出的方法

• 提出马洛斯-二项模型，通过共享的潜在参数将马洛斯 $φ$ 模型（用于排名）与二项分布模型（用于评分）相结合。
• 基于 A* 算法设计树搜索算法，高效计算模型参数的精确最大似然估计（MLE）。
• 将评审人排名与评分的概率建模为在物体质量、共识排名与共识强度条件下条件独立。
• 采用参数化方式，使物体质量通过两种数据类型共享参数进行估计，实现联合推断。
• 推导包含排名与评分两部分的对数似然函数，其中包含与共识距离相关的项及二项分布似然项。
• 通过一致性和渐近正态性证明，建立在正则条件下 MLE 的统计有效性。

实验结果

研究问题

• RQ1 是否能够通过单一统计模型有效结合排名与评分，而无需将一种数据类型转换为另一种？
• RQ2 与单变量模型相比，联合建模排名与评分如何提升偏好聚合的准确性与鲁棒性？
• RQ3 数据转换对偏好学习有何影响？所提出的模型如何避免其缺陷？
• RQ4 该模型能否可靠地估计物体质量与共识强度，并提供适当的不确定性量化？
• RQ5 在真实场景中，该用于精确 MLE 的树搜索算法在效率与准确性上相较于近似方法表现如何？

主要发现

• 马洛斯-二项模型通过共享参数成功统一了排名与评分，避免了数据转换带来的信息损失。
• 所提出的树搜索算法实现了高效的精确 MLE 计算，计算效率适合真实世界应用。
• 模拟研究证实，在正则条件下，模型的参数估计具有一致性与渐近正态性。
• 在真实资助评审数据上的实证分析表明，该模型能有效结合评分与排名信息，生成更可靠的带置信区间的对象排名。
• 模型表明评分与排名提供互补信息，联合使用可提升物体质量与共识强度的估计效果。
• 真实资助评分的样本均值与方差紧密遵循理论上的二项分布方差-均值关系，支持评分模型的有效性。