[论文解读] Item Recommendation with Variational Autoencoders and Heterogenous Priors

Giannis Karamanolakis, Kevin Raji Cherian+4 more|arXiv (Cornell University)|Jul 17, 2018

Recommender Systems and Techniques参考文献 37被引用 13

一句话总结

该论文提出 VAE-HPrior，一种用于物品推荐的变分自编码器，其将标准高斯先验替换为基于用户评论文本生成的用户相关先验。通过在结合评分与文本反馈的多模态潜在空间中建模用户，该方法在 IMDB 和 Yelp 数据集上相较于基线 VAE 和最先进基线模型，将 Recall@20 的性能提升了最高达 29.41%。

ABSTRACT

In recent years, Variational Autoencoders (VAEs) have been shown to be highly effective in both standard collaborative filtering applications and extensions such as incorporation of implicit feedback. We extend VAEs to collaborative filtering with side information, for instance when ratings are combined with explicit text feedback from the user. Instead of using a user-agnostic standard Gaussian prior, we incorporate user-dependent priors in the latent VAE space to encode users' preferences as functions of the review text. Taking into account both the rating and the text information to represent users in this multimodal latent space is promising to improve recommendation quality. Our proposed model is shown to outperform the existing VAE models for collaborative filtering (up to 29.41% relative improvement in ranking metric) along with other baselines that incorporate both user ratings and text for item recommendation.

研究动机与目标

• 通过整合异构的辅助信息，特别是用户评论文本，来改进推荐系统中的协同过滤。
• 解决标准 VAE 使用与用户无关的高斯先验所带来的局限性，该局限可能导致潜在表示质量较差。
• 通过在共享的多模态潜在空间中编码评分和文本反馈，更准确地建模用户偏好。
• 评估基于评论文本派生的用户相关先验是否相比标准先验或随机先验能提升推荐性能。
• 将所提方法与结合评分和文本的混合基线方法（如 VAE-TR 和 Mult-DAE）进行比较。

提出的方法

• 该模型采用变分自编码器框架，使用深度神经网络编码器将用户的物品评分历史编码为潜在向量。
• 与标准高斯先验不同，该模型采用从用户自身评论文本通过独立文本编码器估计的用户相关先验。
• 每个用户的先验被建模为其评论文本嵌入的函数，从而在潜在空间中引入个性化的归纳偏置。
• 通过扩展的证据下界（ELBO）优化联合似然，该 ELBO 同时包含评分重建和基于文本的先验正则化。
• 解码器通过从潜在向量出发的非线性映射重建用户的物品交互向量，随后使用 softmax 生成物品概率。
• 模型通过随机梯度下降进行端到端训练，超参数在验证数据上进行调优。

实验结果

研究问题

• RQ1 能否从评论文本中派生出的用户相关先验来提升基于 VAE 的推荐模型中潜在表示的质量？
• RQ2 与仅使用评分的模型相比，整合用户反馈的文本信息如何影响排名性能？
• RQ3 使用从文本派生的先验是否优于其他通过将潜在表示正则化到文本嵌入来实现的方法？
• RQ4 所提方法与去噪自编码器及其他混合推荐基线相比表现如何？
• RQ5 文本表示的质量（例如词嵌入与主题模型）在多大程度上影响最终的推荐性能？

主要发现

• 在 IMDB 数据集上，VAE-HPrior 相较于最强基线 Mult-VAE，Recall@20 提升了 29.41% 的相对性能。
• 在 Yelp 数据集上，VAE-HPrior 相较于 Mult-VAE，Recall@20 提升了 18.69% 的相对性能。
• 在 IMDB 数据集上，VAE-HPrior 相较于基线 VAE-TR（该基线将潜在向量正则化到文本嵌入），Recall@20 最高提升 25%。
• VAE-HPrior 的性能与 Mult-DAE（一种去噪自编码器）相当，表明用户相关先验可与去噪目标在性能上媲美。
• VAE-RP（为每个用户使用随机先验）的性能略优于 Mult-VAE，表明即使不依赖文本，用户特定先验也具有优势。
• Text-kNN（忽略历史交互）的性能劣于所有其他模型，凸显了结合交互数据与文本特征的必要性。