[论文解读] A Topic Modeling Approach to Ranking

Weicong Ding, Prakash Ishwar+1 more|arXiv (Cornell University)|Dec 11, 2014

Recommender Systems and Techniques参考文献 24被引用 9

一句话总结

本文提出了一种新颖的主题建模排序方法，将用户成对偏好建模为多个共享潜在排序的概率混合，从而实现对异质性和不一致用户行为的一致估计。通过将排序问题与主题建模正式关联，该方法实现了可证明的一致性、多项式样本与计算复杂度，并在真实数据集和半合成数据集上表现出具有竞争力的实验性能。

ABSTRACT

We propose a topic modeling approach to the prediction of preferences in pairwise comparisons. We develop a new generative model for pairwise comparisons that accounts for multiple shared latent rankings that are prevalent in a population of users. This new model also captures inconsistent user behavior in a natural way. We show how the estimation of latent rankings in the new generative model can be formally reduced to the estimation of topics in a statistically equivalent topic modeling problem. We leverage recent advances in the topic modeling literature to develop an algorithm that can learn shared latent rankings with provable consistency as well as sample and computational complexity guarantees. We demonstrate that the new approach is empirically competitive with the current state-of-the-art approaches in predicting preferences on some semi-synthetic and real world datasets.

研究动机与目标

• 解决现有排序模型的局限性，这些模型假设存在单一全局排序或用户被聚类为离散偏好类型。
• 将用户偏好行为建模为混合成员关系的潜在变量模型，同时捕捉群体异质性与个体行为的不一致性。
• 开发一种算法，确保对共享潜在排序的一致估计，并提供样本复杂度与计算复杂度的可证明边界。
• 在偏好预测任务中，展示与最先进方法相当的实验性能。
• 建立排序与主题建模之间的正式联系，使先进主题建模算法可应用于排序问题。

提出的方法

• 本文提出一种新的成对比较生成模型，其中每个用户的偏好被建模为多个共享全局排序的概率混合。
• 建立了排序问题与主题建模问题之间的正式等价性，从而可应用成熟的主题建模推断技术。
• 该方法利用主题建模的最新进展（例如，Arora 等，2013；Ding 等，2013b, 2014），以可证明的一致性估计潜在排序。
• 基于随机投影与凸松弛，开发了一种新算法，确保样本复杂度与计算复杂度为多项式级别。
• 该方法采用两阶段流程：首先通过随机投影方案估计共享排序；其次通过复杂度为 O(WK) 的后处理步骤优化估计结果。
• 利用浓度不等式与并集界推导理论保证，表明估计误差随用户数量和投影次数的增加而衰减。

实验结果

研究问题

• RQ1 能否有效将主题建模框架适配于用户成对偏好排序的混合成员关系建模？
• RQ2 将用户偏好建模为多个共享排序的混合是否相比单一排序或聚类模型能提升预测准确性？
• RQ3 在每位用户比较次数有限的条件下，能否在共享潜在排序估计中实现可证明的一致性与高效计算？
• RQ4 在协同偏好预测任务中，所提方法与最先进方法相比的实验表现如何？
• RQ5 在合理假设下，所提算法的理论样本复杂度与计算效率如何？

主要发现

• 所提模型可包含先前的混合 Mallows 模型与 FJS 模型作为特例，提供更通用的框架。
• 当用户数 M → ∞ 时，该算法实现渐近一致性，即使每位用户仅提供常数次比较。
• 该方法确保样本复杂度与计算复杂度为多项式级别，其边界依赖于 W（项目数）、K（潜在排序数）及模型参数。
• 实验评估表明，该方法在半合成数据集与真实世界数据集上均表现出具有竞争力的性能，有效捕捉了现实用户偏好的多样性。
• 理论分析表明，在弱条件下，估计误差被限制在 O(1/√M) 内，且在 W 上的依赖关系相比先前工作有所改善。
• 在样本复杂度边界中，对 W 的依赖从 W^{1.5} 降低至 K√W，当 K ≪ W 时，这一改进具有显著优势。