[论文解读] Hybrid Collaborative Filtering with Autoencoders

Florian Strub, Jérémie Mary+1 more|arXiv (Cornell University)|Mar 2, 2016

Recommender Systems and Techniques参考文献 43被引用 23

一句话总结

本文提出CFN，一种混合协同过滤模型，将用户和物品的辅助信息整合到深度自编码器架构中，以从稀疏评分矩阵中学习非线性潜在表示。该方法在MovieLens和Douban数据集上优于最先进基线模型，在冷启动和热启动场景下均表现出优越性能，同时具备可扩展性，并针对大规模推荐系统进行了GPU优化。

ABSTRACT

Collaborative Filtering aims at exploiting the feedback of users to provide personalised recommendations. Such algorithms look for latent variables in a large sparse matrix of ratings. They can be enhanced by adding side information to tackle the well-known cold start problem. While Neu-ral Networks have tremendous success in image and speech recognition, they have received less attention in Collaborative Filtering. This is all the more surprising that Neural Networks are able to discover latent variables in large and heterogeneous datasets. In this paper, we introduce a Collaborative Filtering Neural network architecture aka CFN which computes a non-linear Matrix Factorization from sparse rating inputs and side information. We show experimentally on the MovieLens and Douban dataset that CFN outper-forms the state of the art and benefits from side information. We provide an implementation of the algorithm as a reusable plugin for Torch, a popular Neural Network framework.

研究动机与目标

• 解决线性协同过滤方法在捕捉复杂非线性用户-物品关系方面的局限性。
• 通过将辅助信息（如用户人口统计特征、物品特征）直接整合到神经网络架构中，克服冷启动问题。
• 设计一种可扩展的端到端可训练神经网络，联合建模稀疏评分与异构辅助信息。
• 证明深度自编码器在推荐准确率上可超越传统矩阵分解与混合模型。
• 提供可复用的、针对GPU优化的实现，以支持结果复现与工业部署。

提出的方法

• 模型使用堆叠去噪自编码器（SDA）从用户和物品评分向量中学习非线性低维表示。
• 辅助信息（如用户年龄、类型、标签）被嵌入并连接到评分向量后，再输入编码器。
• 通过在原始稀疏评分上使用重构损失进行训练，并引入输入扰动（如掩码或噪声）以提升鲁棒性。
• 编码器学习用户和物品的压缩表示，而解码器则重构原始评分矩阵。
• 采用双分支架构（V-CFN用于用户向量，U-CFN用于物品向量），实现对用户和物品表示的独立建模。
• 通过选择性地将稀疏输入转换为密集张量，支持高效的GPU训练，在最小化内存开销的同时最大化计算吞吐量。

实验结果

研究问题

• RQ1 深度自编码器架构能否有效从协同过滤中的稀疏评分矩阵中学习非线性潜在因子？
• RQ2 将辅助信息整合到统一神经网络架构中，能否提升推荐性能，特别是在冷启动场景下？
• RQ3 所提出的CFN模型是否在标准基准数据集上优于现有最先进协同过滤方法？
• RQ4 使用去噪自编码器在多大程度上增强了推荐系统的鲁棒性与泛化能力？
• RQ5 尽管评分数据稀疏，该模型是否仍能高效地在GPU上训练？

主要发现

• CFN在MovieLens和Douban数据集上均优于最先进协同过滤方法，RMSE更低，预测准确率更高。
• 通过有效利用辅助信息，模型显著缓解了冷启动问题，在用户或物品评分稀疏时仍能提升性能。
• 在MovieLens-20M数据集上，CFN（194M参数）在GTX 980 GPU上仅用34分钟即可训练完成，优于ALS-WR（r=200）所需的一整日训练时间。
• 增加辅助信息仅使训练时间与内存占用增加约5%，表明其具有高度效率与可扩展性。
• 模型在热启动与冷启动设置下均表现出色，证明其在不同数据稀疏程度下的鲁棒性。
• 基于Torch的实现可复用，并包含超参数以复现报告结果。