[论文解读] A New Approach to Collaborative Filtering: Operator Estimation with Spectral Regularization

Jacob Abernethy, Francis Bach+2 more|ArXiv.org|Feb 11, 2008

Indoor and Outdoor Localization Technologies参考文献 28被引用 213

一句话总结

该论文提出了一种基于谱正则化的新型协同过滤框架，用于从用户空间到对象空间学习线性算子，通过引入用户和对象属性，推广了低秩矩阵补全方法。该方法建立了新的表示定理，使得在无限维特征空间中也能实现有限维优化，并通过实验表明，当存在属性信息时，其预测性能优于基于标准正则化的协同过滤方法。

ABSTRACT

We present a general approach for collaborative filtering (CF) using spectral regularization to learn linear operators from "users" to the "objects" they rate. Recent low-rank type matrix completion approaches to CF are shown to be special cases. However, unlike existing regularization based CF methods, our approach can be used to also incorporate information such as attributes of the users or the objects -- a limitation of existing regularization based CF methods. We then provide novel representer theorems that we use to develop new estimation methods. We provide learning algorithms based on low-rank decompositions, and test them on a standard CF dataset. The experiments indicate the advantages of generalizing the existing regularization based CF methods to incorporate related information about users and objects. Finally, we show that certain multi-task learning methods can be also seen as special cases of our proposed approach.

研究动机与目标

• 开发一种通用的协同过滤框架，通过引入用户和对象属性，将传统矩阵补全方法进行扩展。
• 解决现有基于正则化的协同过滤方法的局限性，这些方法无法利用人口统计或基于内容的辅助信息。
• 推导出新的表示定理，使得即使在无限维函数空间中，也能实现有限维优化。
• 将多种现有协同过滤方法——如低秩优化、迹范数正则化和Frobenius范数正则化——统一到单一的谱正则化框架下。
• 通过实证结果证明，引入属性信息可显著提升标准协同过滤数据集上的预测性能。

提出的方法

• 将协同过滤建模为从用户空间到对象空间的线性算子估计问题，而非直接进行矩阵补全。
• 对算子应用谱正则化，利用基于算子奇异值的惩罚函数来控制模型复杂度。
• 推导出新的表示定理，表明即使在底层空间为无限维的情况下，最优算子解仍位于由训练数据张成的有限维子空间中。
• 通过基于核的表示方法（使用用户和对象特征的Gram矩阵）将无限维优化问题转化为有限维问题。
• 采用低秩矩阵分解（例如通过核主成分分析或Cholesky分解）对Gram矩阵进行因子分解，并将算子表示为紧凑的参数矩阵α。
• 将经验风险和正则化惩罚重新表述为关于有限维参数矩阵α的函数，从而实现高效优化。

实验结果

研究问题

• RQ1 协同过滤能否超越矩阵补全，推广至包含用户和项目辅助属性的场景？
• RQ2 在再生核希尔伯特空间中，基于谱正则化的算子估计问题能提供哪些理论保证？
• RQ3 新表示定理如何实现无限维函数空间中的有限维解？
• RQ4 能否将现有的基于正则化的协同过滤方法（如迹范数、低秩方法）统一到单一的谱正则化框架下？
• RQ5 与标准协同过滤方法相比，引入用户和项目属性是否能带来可测量的预测性能提升？

主要发现

• 所提出的框架将低秩矩阵补全和迹范数正则化作为谱正则化算子的特例进行推广。
• 新的表示定理确保最优解位于有限维子空间中，从而在无限维特征空间中也能实现可计算的求解。
• 该方法支持引入用户和项目属性，而这是标准基于正则化的协同过滤方法所不支持的。
• 在标准协同过滤数据集上的实验表明，当属性信息可用时，所提方法实现了更优的预测性能。
• 该框架将多任务学习作为特例包含在内，展示了其在相关学习问题中的广泛适用性。
• 理论分析证实，正则化算子估计问题的解可简化为基于核Gram矩阵导出的有限维参数矩阵的优化。