[论文解读] Recurrent Latent Variable Networks for Session-Based Recommendation

Sotirios Chatzis, Panayiotis Christodoulou+1 more|arXiv (Cornell University)|Jun 13, 2017

Recommender Systems and Techniques参考文献 29被引用 8

一句话总结

本文提出 ReLaVaR，一种递归潜在变量网络，通过使用贝叶斯变分推断对用户行为进行建模，从而提升基于会话的推荐性能。通过将递归隐藏状态视为具有学习后验分布的随机潜在变量，ReLaVaR 能够捕捉稀疏会话数据中的不确定性，在基准数据集上实现了最先进的性能，同时保持了高效的训练与推理。

ABSTRACT

In this work, we attempt to ameliorate the impact of data sparsity in the context of session-based recommendation. Specifically, we seek to devise a machine learning mechanism capable of extracting subtle and complex underlying temporal dynamics in the observed session data, so as to inform the recommendation algorithm. To this end, we improve upon systems that utilize deep learning techniques with recurrently connected units; we do so by adopting concepts from the field of Bayesian statistics, namely variational inference. Our proposed approach consists in treating the network recurrent units as stochastic latent variables with a prior distribution imposed over them. On this basis, we proceed to infer corresponding posteriors; these can be used for prediction and recommendation generation, in a way that accounts for the uncertainty in the available sparse training data. To allow for our approach to easily scale to large real-world datasets, we perform inference under an approximate amortized variational inference (AVI) setup, whereby the learned posteriors are parameterized via (conventional) neural networks. We perform an extensive experimental evaluation of our approach using challenging benchmark datasets, and illustrate its superiority over existing state-of-the-art techniques.

研究动机与目标

• 解决基于会话的推荐系统中用户资料有限或缺失导致的数据稀疏性挑战。
• 通过捕捉用户会话序列中复杂而细微的时间动态，提升推荐准确率。
• 将不确定性建模融入基于深度学习的会话建模中，以增强在稀疏数据上的鲁棒性。
• 开发一种与大规模真实世界数据集兼容的可扩展推理框架。
• 通过严谨的贝叶斯深度学习方法，在基于会话的推荐任务中超越现有最先进方法。

提出的方法

• 将门控循环单元（GRU）的隐藏状态视为具有先验分布的随机潜在变量。
• 使用近端变分推断（AVI）通过神经网络参数化隐藏状态的后验分布。
• 通过优化变分下界（ELBO）实现端到端训练，该目标函数在重构误差与 KL 散度之间取得平衡。
• 在训练中同时使用交叉熵损失和 TOP1 损失函数，后者更有利于提升 top-k 预测性能。
• 使用基于 GRU 的推理网络，高效计算每个时间步的后验分布。
• 利用学习到的后验分布生成考虑稀疏观测中不确定性的推荐结果。

实验结果

研究问题

• RQ1 贝叶斯深度学习框架是否能在数据稀疏条件下提升基于会话的推荐性能？
• RQ2 将递归隐藏状态建模为具有变分推断的随机潜在变量，是否能提升预测准确率？
• RQ3 近端变分推断能否有效应用于推荐系统中的序列建模，以实现可扩展性与高性能？
• RQ4 所提出方法在基于会话的推荐任务中，与非贝叶斯 RNN 及其他最先进模型相比表现如何？
• RQ5 在预测中引入不确定性是否能提升稀疏会话数据上的泛化能力？

主要发现

• ReLaVaR 在基准数据集上超越了现有最先进方法，在 top-1 和 top-5 推荐指标上均实现了更高的准确率。
• 采用 1000 个单元和 TOP1 损失的模型训练时间最快（42,357.84 秒），平均预测时间最低（每点击事件 0.595 秒）。
• 使用 1500 个单元的网络配合交叉熵损失时，训练时间更长（60,109.86 秒），预测时间也更久（0.844 秒），表明模型容量与效率之间存在权衡。
• 在所有配置下，TOP1 损失变体在准确率和推理速度方面均持续优于 BPR 损失变体。
• 该模型在不牺牲计算效率的前提下保持了高性能，适用于真实世界部署。
• 消融实验证实，结合变分推断的贝叶斯建模能有效捕捉不确定性，并提升稀疏数据上的泛化能力。