[论文解读] Metric Factorization: Recommendation beyond Matrix Factorization

Shuai Zhang, Lina Yao+4 more|arXiv (Cornell University)|Feb 13, 2018

Recommender Systems and Techniques参考文献 30被引用 31

一句话总结

本文提出Metric Factorization，一种新颖的推荐方法，通过用欧氏距离替代矩阵分解中的点积来建模低维空间中的用户-物品关系，从而提升模型的表达能力与泛化性能。实验结果表明，该方法在多个真实世界数据集上的评分预测与物品排序任务中均优于当前最先进模型。

ABSTRACT

In the past decade, matrix factorization has been extensively researched and has become one of the most popular techniques for personalized recommendations. Nevertheless, the dot product adopted in matrix factorization based recommender models does not satisfy the inequality property, which may limit their expressiveness and lead to sub-optimal solutions. To overcome this problem, we propose a novel recommender technique dubbed as {\em Metric Factorization}. We assume that users and items can be placed in a low dimensional space and their explicit closeness can be measured using Euclidean distance which satisfies the inequality property. To demonstrate its effectiveness, we further designed two variants of metric factorization with one for rating estimation and the other for personalized item ranking. Extensive experiments on a number of real-world datasets show that our approach outperforms existing state-of-the-art by a large margin on both rating prediction and item ranking tasks.

研究动机与目标

• 为解决矩阵分解的局限性，特别是基于点积的相似度度量缺乏三角不等式的缺陷。
• 通过在共享嵌入空间中以几何距离建模用户与物品关系，提升模型表达能力并减少过拟合。
• 构建一个统一框架，适用于评分预测与个性化物品排序任务。
• 证明基于欧氏距离的建模方式相比基于点积的方法具有更好的泛化能力与鲁棒性。

提出的方法

• 将用户与物品表示为低维欧氏空间中的点，用户-物品交互通过其成对距离进行建模。
• 使用L2距离（即欧氏距离）作为用户与物品嵌入之间的相似度度量，替代标准矩阵分解中使用的点积。
• 设计两种变体：一种用于评分预测，采用距离到评分的转换函数；另一种用于物品排序，采用带置信度加权的边际损失。
• 通过超参数α引入置信度加权，以处理噪声或稀疏的反馈，尤其适用于隐式反馈场景。
• 在训练过程中应用Dropout正则化以提升泛化能力，尤其在评分预测任务中。
• 使用带有L2正则化和自适应学习率的随机梯度下降进行模型优化。

实验结果

研究问题

• RQ1 在矩阵分解中用欧氏距离替代点积，能否带来更好的推荐性能？
• RQ2 通过距离实现用户-物品关系的几何解释，是否能提升模型的表达能力与泛化性能？
• RQ3 Metric Factorization在评分预测与物品排序任务中与最先进模型相比表现如何？
• RQ4 哪些超参数（如维度、截断值、置信度）显著影响模型性能，应如何调优？
• RQ5 当潜在维度增加时，模型是否仍对过拟合保持鲁棒性？

主要发现

• 在多个数据集上，Metric Factorization在评分预测任务中的RMSE显著低于BiasedSVD及其他最先进模型。
• 在物品排序任务中，模型始终优于WRMF及其他基线模型，尤其在高维嵌入下表现更优，表明其具备更好的可扩展性与更低的过拟合风险。
• 模型对过拟合表现出更强的鲁棒性：随着潜在维度k的增加，性能持续提升，而WRMF在最优k值后性能迅速下降。
• 置信度参数α通过降低对噪声评分的敏感性并增强正负反馈的区分能力，有效提升了模型性能。
• Dropout在评分预测任务中表现良好，但在物品排序变体中效果较弱，表明不同任务对正则化的需求存在差异。
• 距离尺度因子a对性能影响极小，表明模型在较广范围内取值时均稳定，最优性能在a ≈ 2.0时达到。