[论文解读] An Introduction to Matrix factorization and Factorization Machines in Recommendation System, and Beyond

Yuefeng Zhang|arXiv (Cornell University)|Mar 12, 2022

Matrix Theory and Algorithms被引用 7

一句话总结

本文全面介绍了矩阵分解（MF）与因子分解机（FM），阐述了其数学基础、在推荐系统中的实际实现，以及与深度学习的结合。通过逐步推导、数值示例和计算复杂度分析，详细说明了SVD、Funk-SVD、SVD++、FM、FFM和DeepFM等模型，展示了它们在处理显式与隐式反馈时的有效性，同时在模型效率与预测准确性之间实现良好平衡。

ABSTRACT

This paper aims at a better understanding of matrix factorization (MF), factorization machines (FM), and their combination with deep algorithms' application in recommendation systems. Specifically, this paper will focus on Singular Value Decomposition (SVD) and its derivations, e.g Funk-SVD, SVD++, etc. Step-by-step formula calculation and explainable pictures are displayed. What's more, we explain the DeepFM model in which FM is assisted by deep learning. Through numerical examples, we attempt to tie the theory to real-world problems.

研究动机与目标

• 为推荐系统领域的研究人员和从业者提供矩阵分解（MF）与因子分解机（FM）的清晰、分步解释。
• 通过数值示例和可可视化公式，弥合理论概念与实际应用之间的鸿沟。
• 分析MF变体（SVD、Funk-SVD、SVD++）与FM扩展（FFM、DeepFM）的计算复杂度与权衡。
• 展示深度学习如何通过DeepFM架构增强FM，实现高阶特征交互建模。
• 从空间、时间与在线推理效率角度，对比MF与传统协同过滤方法。

提出的方法

• 通过低秩逼近推导奇异值分解（SVD）及其变体（Funk-SVD、SVD++），用于评分矩阵补全。
• 通过特征间二阶交互并共享跨特征与字段的参数，引入因子分解机（FM）模型。
• 通过为每个特征-字段对分配独立的潜在向量，提出领域感知因子分解机（FFM），以改进异质特征交互的建模。
• 提出DeepFM模型，将FM的二阶交互与深度神经网络结合，实现高阶特征学习，同时共享相同的输入嵌入。
• 采用带动量的梯度下降优化方法（如Adam框架）对FM与DeepFM模型进行端到端训练。
• 使用数值示例说明MF与FM中的矩阵分解、预测计算与参数更新过程。

实验结果

研究问题

• RQ1 SVD、Funk-SVD与SVD++在矩阵补全方法上有哪些差异？各自的计算权衡是什么？
• RQ2 因子分解机（FM）模型的数学结构是什么？它如何推广到隐式反馈与高维稀疏特征？
• RQ3 领域感知因子分解机（FFM）如何通过建模特征-字段交互来改进FM？
• RQ4 DeepFM模型以何种方式结合FM与深度神经网络，从而提升推荐性能？
• RQ5 在大规模训练中，MF与FM模型的关键优化策略及复杂度特征是什么？

主要发现

• 基于SVD的方法在空间复杂度上达到$O(F imes (M + N))$，优于协同过滤的$O(M^2)$或$O(N^2)$，因此更具内存效率。
• Funk-SVD与SVD++通过学习用户与项目偏置并引入隐式反馈，优于标准SVD，显著提升了预测准确性。
• FM模型在二阶交互计算上达到$O(k imes n)$的复杂度，其中$k$为潜在维度，$n$为特征数量。
• FFM通过为每个特征-字段对使用独立的潜在向量，减少不相关特征类别间的虚假相关性，从而提升泛化能力。
• DeepFM通过共享输入嵌入，联合学习低阶（FM）与高阶（深度）特征交互，实现卓越性能，适用于有效的点击率（CTR）预测。
• 如Adam（隐含描述）等优化算法通过自适应学习率与基于动量的梯度更新，实现FM与DeepFM的稳定高效训练。