[论文解读] Dynamic Matrix Factorization with Priors on Unknown Values

Robin Devooght, Nicolas Kourtellis+1 more|arXiv (Cornell University)|Jul 23, 2015

Recommender Systems and Techniques参考文献 22被引用 7

一句话总结

该论文提出了一种动态矩阵分解框架，通过引入先验假设（即未知评分极有可能为低值，接近零），显式建模未知评分，从而提升推荐排序性能。该方法引入了与数据规模无关的高效在线更新算法，实现对新用户和新项目的实时推荐，在三种大规模稀疏数据集的静态与动态设置下，性能优于当前最先进方法。

ABSTRACT

Advanced and effective collaborative filtering methods based on explicit feedback assume that unknown ratings do not follow the same model as the observed ones (\emph{not missing at random}). In this work, we build on this assumption, and introduce a novel dynamic matrix factorization framework that allows to set an explicit prior on unknown values. When new ratings, users, or items enter the system, we can update the factorization in time independent of the size of data (number of users, items and ratings). Hence, we can quickly recommend items even to very recent users. We test our methods on three large datasets, including two very sparse ones, in static and dynamic conditions. In each case, we outrank state-of-the-art matrix factorization methods that do not use a prior on unknown ratings.

研究动机与目标

• 解决标准矩阵分解方法假设缺失评分是随机缺失的局限性，该假设在现实推荐系统中往往不成立。
• 将未知评分建模为非随机缺失，而是极有可能为低值，基于用户通常仅与少量可用项目互动的直觉。
• 开发一种高效的在线学习机制，实现在每个新评分、用户或项目到来时，以恒定时间复杂度更新分解，支持实时推荐。
• 提升推荐性能，以排序指标（如AUC、NDCG）为优化目标，而非评分预测误差（如RMSE），以契合现代评估标准。
• 在多样化、大规模且稀疏的真实世界数据集上，证明显式先验在未知值上的有效性，涵盖静态与动态两种设置。

提出的方法

• 将三种常见损失函数——平方损失、绝对损失和广义Kullback-Leibler散度——扩展以纳入对未知评分的显式先验，假设其值接近零。
• 通过坐标下降法推导用户和物品潜在因子的闭式更新规则，实现无需近似的精确梯度计算。
• 设计一种在线更新机制，确保每次更新的时间复杂度恒定，且与用户、物品和评分总数无关。
• 采用随机采样用户-物品对的块坐标下降方法，高效优化目标函数，同时显式处理缺失数据。
• 通过添加正则化项将先验整合到优化过程中，惩罚未知评分的高预测值，从而有效将模型正则化至低值。
• 使用高效求解器（如ALS-UV、Mult-NMF）实现该方法，并利用GraphChi和Vowpal Wabbit等开源工具提升可扩展性与可复现性。

实验结果

研究问题

• RQ1 与标准矩阵分解相比，显式将未知评分建模为低值（接近零）是否能提升推荐排序性能？
• RQ2 在稀疏且动态的推荐环境中，对未知评分引入先验是否能提升模型的泛化能力与鲁棒性？
• RQ3 当新用户、新项目或新评分到达时，该模型能否在无需对整个数据集重新训练的情况下实现实时高效更新？
• RQ4 在大规模稀疏数据集上，该方法在排序指标（如AUC、NDCG）上的性能与当前最先进矩阵分解技术相比如何？
• RQ5 先验强度（超参数ρ）对动态设置下收敛速度与推荐准确率的影响如何？

主要发现

• 所提方法在包括Movielens和Amazon评论在内的三个大规模稀疏数据集上，持续优于当前最先进矩阵分解方法，在排序指标（AUC、NDCG）上表现更优。
• 引入未知评分的先验显著提升了性能，尤其在稀疏场景下，作为有效正则化手段，可防止对观测评分的过拟合。
• 在线更新机制实现了每次更新的恒定时间复杂度，与数据规模无关，即使对最新用户也能实现低延迟推荐。
• 该算法的运行时间主要取决于潜在特征数量，对正则化强度或未知与已知评分比例的依赖性极弱。
• 先验强度（ρ）影响收敛速度，ρ值越高，因更强的向零正则化，收敛越快。
• 该方法展现出优异的可复现性与可扩展性，提供开源代码，并与GraphChi和Vowpal Wabbit等高性能工具集成。