[论文解读] Learning Mixtures of Plackett-Luce Models

Zhibing Zhao, Peter Piech+1 more|arXiv (Cornell University)|Mar 23, 2016

Bayesian Methods and Mixture Models参考文献 25被引用 11

一句话总结

本文建立了普莱克特-卢克模型混合模型的理论可识别性条件，并提出了一种广义矩量法（GMM）算法，用于高效学习两分量混合模型。实验表明，该GMM方法具有一致性，显著快于EMM算法，且在最多45,000个排序的合成数据上表现出具有竞争力的准确性。

ABSTRACT

In this paper we address the identifiability and efficient learning problems of finite mixtures of Plackett-Luce models for rank data. We prove that for any $k\geq 2$, the mixture of $k$ Plackett-Luce models for no more than $2k-1$ alternatives is non-identifiable and this bound is tight for $k=2$. For generic identifiability, we prove that the mixture of $k$ Plackett-Luce models over $m$ alternatives is generically identifiable if $k\leq\lfloor\frac {m-2} 2 floor!$. We also propose an efficient generalized method of moments (GMM) algorithm to learn the mixture of two Plackett-Luce models and show that the algorithm is consistent. Our experiments show that our GMM algorithm is significantly faster than the EMM algorithm by Gormley and Murphy (2008), while achieving competitive statistical efficiency.

研究动机与目标

• 解决一个根本性问题：当排除标签切换时，普莱克特-卢克模型的混合是否可识别？
• 建立在哪些备选方案数和分量数下，此类混合模型是可识别或一般可识别的理论边界。
• 开发一种计算高效的两分量普莱克特-卢克混合模型学习算法，其速度优于现有方法，且不牺牲统计效率。
• 通过不断增加规模的合成排序数据，实证验证所提出的GMM算法的一致性和性能。

提出的方法

• 证明当备选方案数 $m \leq 2k-1$ 时，$k$ 个普莱克特-卢克模型的混合是非可识别的，且对 $k=2$ 情况该界是紧的。
• 建立当 $k \leq \lfloor (m-2)/2 \rfloor!$ 时，$k$-普莱克特-卢克模型的一般可识别性，表明在高维设置下非可识别性极为罕见。
• 提出一种广义矩量法（GMM）算法，用于基于排序统计量导出的矩条件，学习两分量普莱克特-卢克混合模型。
• 使用Python通过MATLAB的fmincon优化器求解GMM目标函数，参数收敛标准设为 $10^{-10}$，目标函数收敛标准设为 $10^{-6}$。
• 将Gormley和Murphy（2008）提出的EMM算法作为基线方法，采用10次和20次整体迭代，每次E步中执行1次MM步骤。
• 在合成数据上比较GMM与EMM的均方误差（MSE）和运行时间，数据规模最大达45,000个完整排序。

实验结果

研究问题

• RQ1 当存在 $m \leq 2k-1$ 个备选方案时，$k$ 个普莱克特-卢克模型的混合是否可识别？
• RQ2 在哪些 $k$ 和 $m$ 取值下，$k$-普莱克特-卢克模型是一般可识别的？
• RQ3 能否一致且高效地使用基于GMM的算法学习两分量普莱克特-卢克混合模型？
• RQ4 在大规模排序数据上，GMM算法与EMM算法在计算速度和统计效率方面相比如何？
• RQ5 随着样本量增加，GMM算法是否收敛到真实参数，从而验证理论一致性？

主要发现

• 当存在 $m \leq 2k-1$ 个备选方案时，$k$ 个普莱克特-卢克模型的混合是非可识别的，且对 $k=2$ 情况该界是紧的。
• 当 $m \geq 6$ 时，若 $k \leq \lfloor (m-2)/2 \rfloor!$，则 $k$-普莱克特-卢克模型是一般可识别的，表明在高维设置下非可识别性极为罕见。
• 所提出的GMM算法具有一致性：随着排序数量 $n$ 增加，估计参数以概率收敛到真实参数。
• 在最多2,000个排序的合成数据上，GMM算法显著快于EMM，且运行时间增长速率慢得多。
• 当 $n > 1,000$ 时，GMM算法的均方误差（MSE）低于EMM，表明在大规模数据集中具有更优的统计效率。
• 在最多45,000个排序的数据上，GMM算法的MSE随 $n$ 增加而减小，证实其收敛到真实值，从而验证了一致性定理。