[论文解读] Mallows Ranking Models: Maximum Likelihood Estimate and Regeneration

Wenpin Tang|arXiv (Cornell University)|Aug 26, 2018

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文对Mallows' $φ$模型的最大似然估计量（MLE）进行了统计分析，并基于无限广义Mallows（IGM）模型的再生性质，提出了一种自动模型规模选择算法。该方法通过基于更新的推断选择最优的top-$t$排名规模$t$，在合成数据和真实世界数据上表现出色，收敛性更强且过拟合现象减少。

ABSTRACT

This paper is concerned with various Mallows ranking models. We study the statistical properties of the MLE of Mallows' $ϕ$ model. We also make connections of various Mallows ranking models, encompassing recent progress in mathematics. Motivated by the infinite top-$t$ ranking model, we propose an algorithm to select the model size $t$ automatically. The key idea relies on the renewal property of such an infinite random permutation. Our algorithm shows good performance on several data sets.

研究动机与目标

• 分析Mallows' $φ$模型MLE的统计特性，包括偏差和收敛速率。
• 建立有限与无限Mallows排名模型之间的理论联系，特别是无限广义Mallows（IGM）模型。
• 基于无限排列的再生性质，开发一种用于IGM模型中选择最优模型规模$t$的自动算法。
• 在真实世界排名数据上评估所提方法，证明其在目标排名估计方面优于现有方法。

提出的方法

• 提出一种基于再生性质的算法，通过利用无限随机排列的再生特性，自动选择无限广义Mallows（IGM）模型中的模型规模$t$。
• 使用倒置表$s_j(\pi)$对IGM模型进行参数化，其中$\theta_j$控制排名中位置$j$的概率。
• 在有限和无限Mallows模型中，均采用最大似然估计（MLE）来估计$\theta$、$\vec{\theta}$和$\pi_0$。
• 当$\pi_0$已知时，采用凸优化进行$\theta$的MLE估计；在真实数据中，使用SORTR启发式方法估计$\pi_0$。
• 推导出单参数IGM模型和有限Mallows' $\phi$模型中MLE的偏差与收敛速率的理论结果。
• 在合成数据和真实数据集（包括大学主页搜索和排名投票数据）上验证模型与算法。

实验结果

研究问题

• RQ1 Mallows' $\phi$模型中离散参数$\theta$的MLE是否存在偏差？其收敛速率如何？
• RQ2 中心排名$\widehat{\pi}_0$的MLE向真实$\pi_0$的收敛速度如何？
• RQ3 能否利用概率再生性质在无限广义Mallows模型中自动选择模型规模$t$？
• RQ4 所提出的自动$t$-选择算法在真实世界排名数据上的统计性能如何？

主要发现

• Mallows' $\phi$模型中$\theta$的MLE存在偏差，在正则条件下可确定其收敛速率。
• 对于单参数IGM模型，$\theta$的MLE在适当正则条件下以$O_p(n^{-1/2})$的速率收敛。
• 所提出的基于再生性质的算法在排名投票数据中选择$t=2$，得到$\widehat{\theta}_1=0.46$、$\widehat{\theta}_2=0.54$，且$\widehat{\pi}_0=(3|1|5|4|2)$。
• 在大学主页搜索任务中，该算法对68%的查询选择了$t=5$，目标排名均值为6.8，中位数为3，优于先前工作。
• 当$t=2$时，模型达到均值排名4.2、中位数排名2，表明在低模型复杂度下性能依然出色。
• 与更大的$t$值相比，该方法能有效减少过拟合，表现为在主页数据中，小$t$值对应的均值和中位数排名更低。