[论文解读] Learning Mixtures of Ranking Models

Pranjal Awasthi, Avrim Blum+2 more|arXiv (Cornell University)|Oct 31, 2014

Machine Learning and Algorithms参考文献 27被引用 31

一句话总结

该论文提出了首个针对混合两个Mallows模型参数学习的多项式时间算法，并具备理论保证，利用张量分解识别排名中的top-k位置模式。在任意混合比例下，该方法实现了中央排列和模型参数的可识别性与精确恢复，无需基排名之间的分离。

ABSTRACT

This work concerns learning probabilistic models for ranking data in a heterogeneous population. The specific problem we study is learning the parameters of a Mallows Mixture Model. Despite being widely studied, current heuristics for this problem do not have theoretical guarantees and can get stuck in bad local optima. We present the first polynomial time algorithm which provably learns the parameters of a mixture of two Mallows models. A key component of our algorithm is a novel use of tensor decomposition techniques to learn the top-k prefix in both the rankings. Before this work, even the question of identifiability in the case of a mixture of two Mallows models was unresolved.

研究动机与目标

• 为解决在异质人群中学习Mallows模型混合时缺乏可证明正确的算法这一问题。
• 解决关于两个Mallows模型混合的长期开放性问题：可识别性。
• 开发一种方法，可在不依赖底层排名之间分离的前提下，学习参数（中心排列、权重、离散度）。
• 将张量分解技术扩展至缺乏自然高阶矩的排名模型。

提出的方法

• 利用基于成对和三元排名概率构建的三阶矩张量进行张量分解。
• 基于元素出现在特定位置（尤其是第一位）的概率，为Mallows模型定义新型矩向量。
• 使用动态规划计算Mallows模型中元素i位于位置j的确切概率f(i→j)。
• 应用张量分解算法，在有限样本带来的噪声存在下，仍能恢复混合模型的潜在结构。
• 采用基于位置频率分布的聚类式策略进行初始化，随后通过参数估计进行精炼。
• 使用Chernoff界确定在所需精度内估计位置概率的样本复杂度。

实验结果

研究问题

• RQ1 从i.i.d.样本中，两个Mallows模型的混合是否具有唯一可识别性？
• RQ2 我们能否在多项式时间内以可证明的保证学习两个Mallows模型混合的参数？
• RQ3 张量分解技术能否被适配到缺乏自然高阶矩的排名模型上？
• RQ4 该算法是否无需强分离条件即可在两个分量的中心排列之间有效运行？

主要发现

• 论文证明了从多项式数量的i.i.d.样本中，两个Mallows模型的混合具有唯一可识别性。
• 该算法在时间上为n、(min{w₁,w₂})⁻¹、1/φ₁(1−φ₁)、1/φ₂(1−φ₂)和1/ǫ的多项式时间内，精确恢复中心排列π₁和π₂，以及φ₁、φ₂、w₁、w₂的ǫ-精度参数。
• 通过先利用矩估计恢复top-k元素，再通过引理10.2扩展，该方法实现了对完整排列π₁和π₂的精确恢复。
• 样本复杂度为O(1/γ²w_min² log(n/δ))，其中γ = min(gain(φ₁), gain(φ₂))，w_min = min(w₁,w₂)。
• 该算法在无需任何两个底层排列之间分离条件的情况下运行，使其适用于任意混合。
• 理论分析表明，真实混合分布与估计混合分布之间的总变差距离至多为ǫn²/φ_min，确保了对参数估计误差的鲁棒性。