[论文解读] Low-Rank Factorization of Determinantal Point Processes for Recommendation

Mike Gartrell, Ulrich Paquet+1 more|arXiv (Cornell University)|Feb 17, 2016

Data Management and Algorithms参考文献 21被引用 12

一句话总结

本文提出对确定性点过程（DPP）中的核矩阵进行低秩分解，以实现在大规模商品目录中的可扩展且高效的推荐。通过学习DPP核矩阵的低秩近似，该方法在保持或超越全秩DPP预测性能的同时，使预测速度提升最高达20倍，训练速度提升近一个数量级。

ABSTRACT

Determinantal point processes (DPPs) have garnered attention as an elegant probabilistic model of set diversity. They are useful for a number of subset selection tasks, including product recommendation. DPPs are parametrized by a positive semi-definite kernel matrix. In this work we present a new method for learning the DPP kernel from observed data using a low-rank factorization of this kernel. We show that this low-rank factorization enables a learning algorithm that is nearly an order of magnitude faster than previous approaches, while also providing for a method for computing product recommendation predictions that is far faster (up to 20x faster or more for large item catalogs) than previous techniques that involve a full-rank DPP kernel. Furthermore, we show that our method provides equivalent or sometimes better predictive performance than prior full-rank DPP approaches, and better performance than several other competing recommendation methods in many cases. We conduct an extensive experimental evaluation using several real-world datasets in the domain of product recommendation to demonstrate the utility of our method, along with its limitations.

研究动机与目标

• 为解决全秩DPP在大规模商品目录中因高内存和计算成本导致的可扩展性限制，从而阻碍训练和推理的问题。
• 开发一种DPP核矩阵的低秩分解方法，在显著降低计算开销的同时保持或提升预测性能。
• 通过加速模型训练和实时预测，实现在购物车补全任务中的高效在线推荐。
• 在真实世界的产品推荐数据集上评估该方法，并与全秩DPP及其他最先进推荐模型进行比较。
• 研究低秩DPP框架中正则化的影响力，特别是在较少见商品上的预测性能表现。

提出的方法

• 该方法将DPP核矩阵L分解为低秩形式L = X^T X，其中X为潜在因子矩阵，从而降低维度和计算复杂度。
• 提出一种新颖的学习算法，基于观测子集的对数似然，使用基于梯度的方法优化低秩分解，实现高效训练。
• 通过计算由低秩因子导出的小型子矩阵的行列式来加速预测，避免全秩矩阵运算。
• 通过低秩结构引入正则化，提升泛化能力并减轻过拟合，尤其对稀有商品有帮助。
• 该方法支持在线学习和推理，适用于大规模商品目录的实时推荐系统。
• 使用标准推荐指标（如precision@k和流行度加权precision@k）在真实世界数据集上评估该方法。

实验结果

研究问题

• RQ1 DPP核矩阵的低秩分解是否能显著减少训练和预测时间，同时保持或提升推荐准确性？
• RQ2 在真实世界的产品推荐任务中，低秩DPP模型与全秩DPP相比，其预测性能如何？
• RQ3 低秩结构中固有的正则化是否能提升对较少见商品的性能表现，相比全秩DPP或其他模型？
• RQ4 低秩DPP模型在全秩DPP计算上不可行的大规模商品目录中，其可扩展性如何？
• RQ5 低秩DPP模型是否能实现比全秩DPP更快的推理速度，从而支持实时在线推荐？

主要发现

• 低秩DPP模型相比全秩DPP，预测速度最高提升20倍，训练速度提升近一个数量级，尤其在大规模商品目录中优势显著。
• 该模型在所有评估数据集上的预测性能与全秩DPP相当或更优，尤其在precision@k指标上表现突出。
• 在许多情况下，低秩DPP优于多种竞争模型（如RecoMF及其他协同过滤基线模型），尤其在注重多样性的推荐任务中表现更优。
• 低秩结构带来的正则化效应提升了对较少见商品的性能，尽管流行度加权precision@k指标表明，通过更优的正则化方案仍有改进空间。
• 该模型能有效扩展至大规模数据集，使原本因内存和计算限制而无法使用全秩DPP的更大规模数据得以训练。
• 该方法在实际应用中表现出强可行性，支持实时推理和可扩展的系统部署。