[论文解读] Low-rank matrix factorization with attributes

Jacob Abernethy, Francis Bach+2 more|ArXiv.org|Nov 24, 2006

Recommender Systems and Techniques参考文献 16被引用 99

一句话总结

本文提出了一种广义的低秩矩阵分解框架，通过张量积核将用户和物品属性与协同过滤相结合，通过联合正则化矩阵秩和核诱导平滑性，实现更优的偏好预测。在电影评分数据集上的实验表明，与标准矩阵补全方法和仅使用属性的方法相比，性能显著提升，尤其在结合两种数据类型并进行最优超参数调优时表现更佳。

ABSTRACT

We develop a new collaborative filtering (CF) method that combines both previously known users' preferences, i.e. standard CF, as well as product/user attributes, i.e. classical function approximation, to predict a given user's interest in a particular product. Our method is a generalized low rank matrix completion problem, where we learn a function whose inputs are pairs of vectors -- the standard low rank matrix completion problem being a special case where the inputs to the function are the row and column indices of the matrix. We solve this generalized matrix completion problem using tensor product kernels for which we also formally generalize standard kernel properties. Benchmark experiments on movie ratings show the advantages of our generalized matrix completion method over the standard matrix completion one with no information about movies or people, as well as over standard multi-task or single task learning methods.

研究动机与目标

• 为解决标准协同过滤忽略用户和物品属性的局限性，通过将属性整合到矩阵补全过程来改进。
• 在单一基于核的框架中统一低秩矩阵分解、多任务学习与函数逼近。
• 开发一种广义的矩阵补全方法，可在纯协同过滤与基于属性的学习之间插值。
• 通过实证验证，结合偏好数据与属性信息可获得优于单一方法的预测性能。
• 展示在所提框架中，通过秩与核范数约束实现平衡正则化的关键作用。

提出的方法

• 该方法将用户-物品偏好建模为函数 f(x,y)，其中 x 和 y 分别为用户和物品属性向量，利用张量积核 k⊗((x₁,y₁),(x₂,y₂)) = k(x₁,x₂)g(y₁,y₂) 定义联合空间中的相似性。
• 将学习问题表述为在再生核希尔伯特空间（RKHS）上最小化正则化经验风险，正则化项结合了迹范数（用于低秩结构）与核范数（用于属性空间中的平滑性）。
• 该框架推广了标准低秩矩阵补全（当仅使用索引时）与经典函数逼近（当仅使用属性时），两者均为其特例。
• 引入一种混合核，由 η 和 ζ 参数化，以平衡索引上的恒等（狄拉克）核与基于属性的核的贡献。
• 通过带有组合正则化项的核岭回归求解优化问题，该正则化项同时包含矩阵的迹范数与函数的 RKHS 范数。
• 通过在 MovieLens 数据集子集上进行交叉验证，选择超参数（秩 d、正则化参数 λ 以及 η、ζ）。

实验结果

研究问题

• RQ1 将用户和物品属性与协同过滤结合，能否在标准矩阵补全之外进一步提升预测准确率？
• RQ2 低秩结构与基于属性的平滑性之间的相互作用如何影响模型泛化能力？
• RQ3 在预测函数中，使用用户/物品 ID 与使用其属性之间的最优权衡是什么？
• RQ4 与纯协同过滤相比，所提方法在新用户或新物品上的泛化能力是否更强？
• RQ5 不同的正则化策略（秩 vs. 核范数）如何相互作用并影响性能？

主要发现

• 在最优超参数下，所提方法的测试均方误差（MSE）为 1.0351，显著优于标准矩阵补全（MSE ≈ 1.13–1.54）和仅使用属性的基线方法。
• 在 η,ζ 参数空间的角落（如 (0,0) 或 (1,1)）性能急剧下降，表明仅依赖 ID 或仅依赖属性会损害泛化能力。
• 最佳性能始终出现在 η,ζ 范围的内部区域，如 (0.15,0.15) 或 (0.5,0.5)，证实了结合两种信息源的优势。
• 通过秩 d 进行正则化至关重要：当 η=ζ=0 时，将 d 从 50 增加到 200，MSE 从 1.5391 降低至 1.0818，表明低秩结构的重要性。
• 正则化参数 λ 的选择对性能影响显著：当 d=130，η=ζ=0.15 时，MSE 从 1.0351（λ=0.2）上升至 1.1401（λ=0.04），表明需精细调优。
• 交叉验证始终选择 η 和 ζ 的中间值，证实模型在 ID 与属性信息的平衡融合中收益最大。