[论文解读] Neural Variational Hybrid Collaborative Filtering

Teng Xiao, Shangsong Liang+2 more|arXiv (Cornell University)|Oct 12, 2018

Recommender Systems and Techniques参考文献 34被引用 7

一句话总结

该论文提出神经变分混合协同过滤（NVHCF），一种统一的深度生成模型，通过使用特定于侧信道的先验分布联合建模用户和物品的生成过程，以缓解矩阵稀疏性问题并提升潜在表征学习效果。通过采用条件变分自编码器与随机梯度变分贝叶斯推断，NVHCF在top-k推荐任务中达到最先进性能，并有效处理新用户和新物品的冷启动问题。

ABSTRACT

Collaborative Filtering (CF) is one of the most used methods for Recommender System. Because of the Bayesian nature and nonlinearity, deep generative models, e.g. Variational Autoencoder (VAE), have been applied into CF task, and have achieved great performance. However, most VAE-based methods suffer from matrix sparsity and consider the prior of users' latent factors to be the same, which leads to poor latent representations of users and items. Additionally, most existing methods model latent factors of users only and but not items, which makes them not be able to recommend items to a new user. To tackle these problems, we propose a Neural Variational Hybrid Collaborative Filtering, NVHCF. Specifically, we consider both the generative processes of users and items, and the prior of latent factors of users and items to be side informationspecific, which enables our model to alleviate matrix sparsity and learn better latent representations of users and items. For inference purpose, we derived a Stochastic Gradient Variational Bayes (SGVB) algorithm to analytically approximate the intractable distributions of latent factors of users and items. Experiments conducted on two large datasets have showed our methods significantly outperform the state-of-the-art CF methods, including the VAE-based methods.

研究动机与目标

• 解决现有基于VAE的协同过滤方法的局限性，包括在稀疏矩阵上表现不佳以及无法处理新用户或新物品的冷启动问题。
• 克服对所有用户和物品均使用统一高斯先验的问题，该问题会导致潜在表征次优。
• 通过将用户和物品的侧信道信息整合到潜在因子的先验分布中，改进非线性用户-物品交互的建模。
• 构建一个统一的深度生成框架，即使在面对未见用户或物品时也能实现有效的推断与推荐。
• 通过神经网络对用户和物品潜在因子的先验分布进行条件化，以基于其各自侧信道信息增强表征学习。

提出的方法

• 提出一种统一的条件神经变分模型，利用变分自编码器框架联合建模用户和物品的生成过程。
• 通过可学习的神经网络将用户和物品的侧信道信息（如用户特征、物品内容）条件化到用户和物品潜在因子的先验分布中，引入特定于侧信道的先验。
• 为模型制定一个可计算的变分下界（ELBO），支持通过反向传播进行端到端训练。
• 推导出一种随机梯度变分贝叶斯（SGVB）算法，以近似用户和物品潜在因子的不可计算后验分布。
• 在训练过程中使用负采样，负采样比例可配置，以提升优化稳定性与推荐性能。
• 使用反向传播训练模型，联合优化ELBO中的重构损失项与KL散度项，实现有效的潜在因子推断。

实验结果

研究问题

• RQ1 是否一种统一的深度生成模型，通过联合建模用户和物品的生成过程，相比现有基于VAE的方法能显著提升推荐性能？
• RQ2 为用户和物品引入特定于侧信道的先验是否能带来更优的潜在表征，并提升在稀疏矩阵上的性能表现？
• RQ3 通过在先验中利用侧信道信息，该模型能否有效解决新用户或新物品的冷启动问题？
• RQ4 NVHCF的性能如何随不同超参数（如嵌入维度和负采样比例）变化？
• RQ5 在不同数据集中，用户侧信息或物品侧信息中，哪类信息对推荐性能的贡献更显著？

主要发现

• NVHCF在三个公开数据集（ML-100K、ML-1M、Last.fm）上显著优于最先进协同过滤方法，包括基于VAE的模型，取得了最高的NDCG@10与HR@10得分。
• 在Last.fm数据集上，NVHCF的HR@10达到0.2543，NDCG@10达到0.1782，优于所有基线模型与变体。
• NVHCF的最优嵌入维度在Last.fm上为150，在ML-100K与ML-1M上为100，且随着维度增加性能持续提升。
• 负采样比例具有显著影响：在6至8的比例区间内达到最优性能，通常更高比例能带来更好结果。
• 消融实验表明，同时使用用户和物品侧信道信息特定先验（NVH）的模型表现最佳，优于仅使用单一或不使用侧信道信息的变体。
• 在电影数据集（ML-100K、ML-1M）中，物品侧信道信息的正向影响强于用户侧信道信息；而在Last.fm中，用户侧信道信息（社交网络）更具有效性。