[论文解读] Learning Mixed Membership Mallows Models from Pairwise Comparisons

Weicong Ding, Prakash Ishwar+1 more|arXiv (Cornell University)|Apr 3, 2015

Economic and Environmental Valuation参考文献 21被引用 11

一句话总结

本文提出混合成员马兰兹模型（M4），这是一种新颖的框架，通过将用户视为潜在马兰兹成分的概率混合，从成对比较中建模异质用户偏好。通过借鉴主题模型类比——其中成对比较为‘词汇’，用户为‘文档’——作者开发了一种可证明一致、时间复杂度为多项式的算法，利用凸多边形极值点识别技术估计参考排序，实现在真实偏好数据上的最先进预测性能。

ABSTRACT

We propose a novel parameterized family of Mixed Membership Mallows Models (M4) to account for variability in pairwise comparisons generated by a heterogeneous population of noisy and inconsistent users. M4 models individual preferences as a user-specific probabilistic mixture of shared latent Mallows components. Our key algorithmic insight for estimation is to establish a statistical connection between M4 and topic models by viewing pairwise comparisons as words, and users as documents. This key insight leads us to explore Mallows components with a separable structure and leverage recent advances in separable topic discovery. While separability appears to be overly restrictive, we nevertheless show that it is an inevitable outcome of a relatively small number of latent Mallows components in a world of large number of items. We then develop an algorithm based on robust extreme-point identification of convex polygons to learn the reference rankings, and is provably consistent with polynomial sample complexity guarantees. We demonstrate that our new model is empirically competitive with the current state-of-the-art approaches in predicting real-world preferences.

研究动机与目标

• 建模大规模成对比较数据中的异质、噪声和不一致用户偏好。
• 解决在成对比较背景下，混合成员马兰兹模型缺乏可证明、高效估计方法的问题。
• 建立M4与主题模型之间的统计联系，从而可使用可分主题发现技术。
• 开发一种几何算法，实现马兰兹参考排序的一致估计，且样本复杂度为多项式。
• 通过实证验证M4在预测真实世界偏好方面优于最先进方法。

提出的方法

• 将成对比较映射到主题模型框架中，其中用户为文档，比较为词汇，马兰兹成分为主题。
• 引入马兰兹成分的近似可分性条件，该条件在项目数量相对于潜在成分数量较大时被证明自然成立。
• 利用凸多边形极值点的鲁棒识别技术估计马兰兹成分的参考排序，将精确可分性推广至有限偏差情形。
• 利用可分非负矩阵分解的最新进展，可证明地以多项式样本和计算复杂度恢复马兰兹成分参数。
• 通过使用狄利克雷先验的贝叶斯推断估计每个用户的混合权重，并在评估中使用吉布斯采样近似似然。
• 通过将用户评分转换为成对比较，并利用保留样本对数似然和均方根误差（RMSE）进行评估，将模型应用于真实世界数据。

实验结果

研究问题

• RQ1 基于马兰兹分布的混合成员模型能否有效捕捉来自成对比较的异质且不一致的用户偏好？
• RQ2 在混合成员设置下，是否可以实现马兰兹成分的可证明一致估计，且样本复杂度为多项式？
• RQ3 在项目数量多、成分数量少的设置下，马兰兹成分的近似可分性是否自然出现，且可被算法有效利用？
• RQ4 所提出的M4模型在预测真实世界用户偏好方面，与最先进方法相比表现如何？
• RQ5 主题模型类比能否有效扩展至偏好建模，以实现可扩展且一致的推断？

主要发现

• 所提出的M4模型在Movielens数据集上实现了卓越的预测性能，其归一化预测对数似然在不同K值下始终优于基于主题模型的基线方法（TM）。
• 在评分预测方面，M4在K=20时达到RMSE为0.8241，优于TM基线方法，并与基准BPMF模型性能相当。
• 模型对噪声和不一致用户行为表现出鲁棒性，多个评估指标下均持续优于基线方法。
• 理论分析表明，在项目数量多、成分数量少的设置下，近似可分性是不可避免且自然的结果，验证了模型的结构假设。
• 该算法实现了可证明的一致性，且样本和计算复杂度均为多项式，使从真实世界数据中可扩展学习成为可能。
• 基于凸多边形极值点识别的几何方法成功将精确可分性推广至近似情形，实现了对参考排序的可靠估计。