[论文解读] Enhancing VAEs for Collaborative Filtering: Flexible Priors & Gating Mechanisms

Daeryong Kim, Bongwon Suh|arXiv (Cornell University)|Nov 3, 2019

Recommender Systems and Techniques参考文献 22被引用 7

一句话总结

该论文通过引入灵活先验（特别是 VampPrior）和门控机制，增强了变分自编码器（VAEs）在协同过滤中的应用，显著提升了推荐性能。结果表明，用更具表达能力的先验替代标准高斯先验，并引入可学习的门控单元，能够实现更深、更丰富的用户偏好建模，从而在 MovieLens 和 Netflix 数据集上超越现有的 SOTA 基于 VAE 的模型。

ABSTRACT

Neural network based models for collaborative filtering have started to gain attention recently. One branch of research is based on using deep generative models to model user preferences where variational autoencoders were shown to produce state-of-the-art results. However, there are some potentially problematic characteristics of the current variational autoencoder for CF. The first is the too simplistic prior that VAEs incorporate for learning the latent representations of user preference. The other is the model's inability to learn deeper representations with more than one hidden layer for each network. Our goal is to incorporate appropriate techniques to mitigate the aforementioned problems of variational autoencoder CF and further improve the recommendation performance. Our work is the first to apply flexible priors to collaborative filtering and show that simple priors (in original VAEs) may be too restrictive to fully model user preferences and setting a more flexible prior gives significant gains. We experiment with the VampPrior, originally proposed for image generation, to examine the effect of flexible priors in CF. We also show that VampPriors coupled with gating mechanisms outperform SOTA results including the Variational Autoencoder for Collaborative Filtering by meaningful margins on 2 popular benchmark datasets (MovieLens & Netflix).

研究动机与目标

• 解决标准 VAE 在协同过滤中先验过于简单的局限性，该局限性限制了模型捕捉复杂用户偏好模式的能力。
• 通过引入门控机制，克服在协同过滤中训练深层 VAE 的挑战，以稳定学习过程并支持更深的网络结构。
• 探究原本为图像生成设计的灵活先验是否能提升协同过滤中的推荐性能。
• 证明将灵活先验与门控机制结合，可显著提升基于 VAE 的推荐模型的性能，超越标准 VAE 及现有 SOTA 方法。

提出的方法

• 采用 VampPrior——一种基于简单分布混合的灵活先验——作为协同过滤中 VAE 的标准各向同性高斯先验的替代方案。
• 引入可学习的门控机制，以控制信息在深层网络中的流动，从而实现推荐系统中深层 VAE 架构的有效训练。
• 使用变分推断目标训练 VAE，优化证据下界（ELBO），并利用 VampPrior 对用户潜在因子的先验分布进行建模。
• 采用带有残差连接和门控单元的深层编码器-解码器架构，以提升潜在空间中的表征学习能力。
• 使用随机梯度下降端到端优化模型，将观测到的用户-物品交互的似然作为重构项。
• 应用 VampPrior 的参数化方式，使模型能够在不显著增加计算复杂度的前提下，学习更具表达能力的用户嵌入先验分布。

实验结果

研究问题

• RQ1 是否可以用如 VampPrior 这类更具灵活性的先验替代 VAE 中的标准各向同性高斯先验，从而提升协同过滤中的推荐性能？
• RQ2 门控机制的引入是否能够实现协同过滤中更深的 VAE 架构，从而带来更好的表征学习？
• RQ3 灵活先验与门控机制如何共同影响基于 VAE 的推荐模型的泛化能力和性能表现？
• RQ4 所提出的改进在 MovieLens 和 Netflix 等基准数据集上，相较于标准 VAE 和现有 SOTA 方法，其性能提升程度如何？

主要发现

• 使用 VampPrior 作为灵活先验，相较于标准 VAE 中的各向同性高斯先验，显著提升了推荐性能。
• 引入门控机制使得在协同过滤中训练深层 VAE 架构成为可能，而这一目标在传统 VAE 中曾难以实现。
• VampPrior 与门控机制的结合在 MovieLens 和 Netflix 基准数据集上均达到了 SOTA 水平。
• 所提出的模型在性能上显著优于原始的协同过滤变分自编码器，充分证明了灵活先验与深层建模的有效性。
• 性能提升在两个数据集上均保持一致，表明该方法在多样化推荐场景中具有稳健性和良好的泛化能力。
• 结果表明，标准 VAE 中过于简单的先验可能限制模型捕捉复杂用户偏好结构的能力，而灵活先验可有效缓解此问题。