[论文解读] Enhancing VAEs for Collaborative Filtering: Flexible Priors & Gating Mechanisms

Daeryong Kim, Bongwon Suh|arXiv (Cornell University)|Nov 3, 2019

Recommender Systems and Techniques参考文献 33被引用 8

一句话总结

该论文通过引入灵活先验（VampPrior）和门控机制，增强了变分自编码器（VAEs）在协同过滤中的应用，显著提升了推荐性能。结果表明，将标准各向同性高斯先验替换为更具表达力的VampPrior，并结合可学习门控机制，在MovieLens和Netflix数据集上的表现超越了当前最先进的基于VAE的模型。

ABSTRACT

Neural network based models for collaborative filtering have started to gain attention recently. One branch of research is based on using deep generative models to model user preferences where variational autoencoders were shown to produce state-of-the-art results. However, there are some potentially problematic characteristics of the current variational autoencoder for CF. The first is the too simplistic prior that VAEs incorporate for learning the latent representations of user preference. The other is the model's inability to learn deeper representations with more than one hidden layer for each network. Our goal is to incorporate appropriate techniques to mitigate the aforementioned problems of variational autoencoder CF and further improve the recommendation performance. Our work is the first to apply flexible priors to collaborative filtering and show that simple priors (in original VAEs) may be too restrictive to fully model user preferences and setting a more flexible prior gives significant gains. We experiment with the VampPrior, originally proposed for image generation, to examine the effect of flexible priors in CF. We also show that VampPriors coupled with gating mechanisms outperform SOTA results including the Variational Autoencoder for Collaborative Filtering by meaningful margins on 2 popular benchmark datasets (MovieLens & Netflix).

研究动机与目标

• 解决标准VAE在协同过滤中因先验过于简单（特别是各向同性高斯先验）而带来的局限性。
• 通过克服架构约束，实现VAE中更深层次的表征学习，以建模用户偏好。
• 探究灵活先验和门控机制是否能够提升推荐准确率与泛化能力。
• 通过真实世界基准数据集的实证验证，证明VampPrior与门控机制在协同过滤中的有效性。

提出的方法

• 提出VampPrior——一种使用局部化基分布混合的灵活、参数化先验，替代VAE中标准的各向同性高斯先验。
• 应用可学习门控机制，动态控制潜空间中每个先验成分的贡献。
• 修改VAE的推理与生成网络，支持带有残差连接的深层架构。
• 使用重参数化梯度优化模型端到端，目标函数为证据下界（ELBO）。
• 采用具有可学习参数的离散先验混合，更有效地建模复杂的用户偏好分布。
• 采用软门控机制，根据输入的用户-物品交互动态关注相关先验成分。

实验结果

研究问题

• RQ1 将标准各向同性高斯先验替换为更灵活的先验，是否能提升基于VAE的协同过滤中的推荐性能？
• RQ2 门控机制的引入是否能增强VAE在建模用户偏好时的表达能力与泛化能力？
• RQ3 能否通过灵活先验与门控机制，有效训练用于协同过滤的深层VAE架构？
• RQ4 在基准数据集上，VampPrior与门控机制相较于标准VAE及最先进模型表现如何？

主要发现

• 在MovieLens和Netflix数据集上，采用VampPrior与门控机制的模型相比原始VAE在协同过滤中表现显著更优。
• 灵活先验的使用显著提升了推荐准确率，表明标准先验对复杂用户偏好建模而言过于受限。
• 门控机制实现了更优的解耦与相关先验成分的选择，从而改善了表征学习。
• 该模型在MovieLens与Netflix基准测试中达到了最先进性能，超越了先前的SOTA基于VAE的方法。
• 消融实验表明，灵活先验与门控机制在性能提升中均具有独立且协同的作用。