[论文解读] Feature-Based Matrix Factorization

Tianqi Chen, Zheng Zhao+3 more|arXiv (Cornell University)|Sep 11, 2011

Recommender Systems and Techniques参考文献 9被引用 38

一句话总结

本文提出了一种基于特征的矩阵分解框架，通过将用户、物品和上下文特征整合到统一的线性模型中，推广了传统的矩阵分解方法，实现了灵活的、无需代码修改的新型数据类型扩展。该方法在KDDCup'11 Track 1中取得了最先进性能，测试RMSE为22.16，内存使用量低于2GB，并具备高效的I/O流水线，适用于大规模数据。

ABSTRACT

Recommender system has been more and more popular and widely used in many applications recently. The increasing information available, not only in quantities but also in types, leads to a big challenge for recommender system that how to leverage these rich information to get a better performance. Most traditional approaches try to design a specific model for each scenario, which demands great efforts in developing and modifying models. In this technical report, we describe our implementation of feature-based matrix factorization. This model is an abstract of many variants of matrix factorization models, and new types of information can be utilized by simply defining new features, without modifying any lines of code. Using the toolkit, we built the best single model reported on track 1 of KDDCup'11.

研究动机与目标

• 为解决在不重写模型代码的前提下，高效整合多样化数据类型（如用户/物品偏差、邻域效应、时间特征）到协同过滤中的挑战。
• 降低在不同推荐系统场景中构建和调优专用矩阵分解模型的工程开销。
• 实现在大规模数据集（如2亿条评分）上的可扩展训练，内存使用量最小化且I/O效率高。
• 提供一个统一、可扩展的框架，使新特征可无需修改核心代码或模型架构即可添加。

提出的方法

• 将矩阵分解表示为线性模型，其中预测值由全局偏差、用户/物品偏差以及潜在因子点积组成，所有成分均通过可学习参数加权。
• 引入一个特征向量，将用户、物品和上下文特征（如邻域相似度、时间效应）编码为线性回归组件的输入。
• 使用带有数据缓冲和预取流水线的随机梯度下降（SGD），实现在磁盘存储数据集上的高效训练。
• 采用两阶段更新策略：首先为每个用户计算隐式反馈因子，然后将更改传播回特征权重，从而减少冗余计算。
• 通过将用户特定的隐式反馈建模为派生特征向量，同时支持显式和隐式反馈，实现联合优化。
• 应用L2正则化以防止过拟合，并确保训练过程的稳定收敛。

实验结果

研究问题

• RQ1 如何设计一个统一框架，使多种矩阵分解变体能被统一建模而无需重写模型代码？
• RQ2 在内存受限条件下，如何最高效地在大规模数据集上训练此类通用化模型？
• RQ3 如何高效地将隐式反馈信号整合到学习过程中，而不会增加计算开销？
• RQ4 基于特征的方法能否在保持模型表达力和可扩展性的前提下，支持丰富且异构的数据类型（如时间、邻域、上下文）？
• RQ5 为实现在基于磁盘数据上的高训练吞吐量和低I/O成本，需要哪些工程优化？

主要发现

• 基于特征的矩阵分解框架成功将多种矩阵分解变体统一为单一、可扩展的模型架构。
• 该工具包使作者在KDDCup'11 Track 1中构建了最佳单模型，在Yahoo! Music数据集上达到22.16的测试RMSE。
• 系统在使用少于2GB内存的情况下，成功训练了超过2亿条评分数据，得益于磁盘缓冲和预取I/O流水线。
• 针对隐式反馈的两阶段更新策略减少了冗余计算，显著提升了训练效率。
• 该模型支持灵活的特征工程，使新数据类型（如时间依赖偏差、邻域效应）可无需修改核心算法即可添加。
• 与传统模型专用实现相比，该方法在开发效率和可扩展性方面表现更优，尤其适用于大规模异构数据。