[论文解读] Modeling the Past and Future Contexts for Session-based Recommendation.

Fajie Yuan, Xiangnan He+4 more|arXiv (Cornell University)|Jun 11, 2019

Recommender Systems and Techniques参考文献 28被引用 2

一句话总结

本文提出 GRec，一种新颖的编码器-解码器框架，通过掩码填充机制建模会话的过去与未来上下文，从而提升基于会话的推荐性能。通过在会话序列中掩码项目，并训练模型利用上下文表示预测被掩码的项目，GRec 能够捕捉双向依赖关系，在真实世界数据集上显著优于最先进方法。

ABSTRACT

Session-based recommender systems have attracted much attention recently. To capture the sequential dependencies, existing methods resort either to data augmentation techniques or left-to-right style autoregressive training.Since these methods are aimed to model the sequential nature of user behaviors, they ignore the future data of a target interaction when constructing the prediction model for it. However, we argue that the future interactions after a target interaction, which are also available during training, provide valuable signal on user preference and can be used to enhance the recommendation quality. Properly integrating future data into model training, however, is non-trivial to achieve, since it disobeys machine learning principles and can easily cause data leakage. To this end, we propose a new encoder-decoder framework named Gap-filling based Recommender (GRec), which trains the encoder and decoder by a gap-filling mechanism. Specifically, the encoder takes a partially-complete session sequence (where some items are masked by purpose) as input, and the decoder predicts these masked items conditioned on the encoded representation. We instantiate the general GRec framework using convolutional neural network with sparse kernels, giving consideration to both accuracy and efficiency. We conduct experiments on two real-world datasets covering short-, medium-, and long-range user sessions, showing that GRec significantly outperforms the state-of-the-art sequential recommendation methods. More empirical studies verify the high utility of modeling future contexts under our GRec framework.

研究动机与目标

• 解决现有基于会话的推荐方法在训练过程中忽略未来用户交互的局限性。
• 探究尽管存在数据泄露风险，未来上下文是否能提升推荐质量。
• 设计一种安全整合未来信息的训练框架，且不违反机器学习原则。
• 开发一种高效且准确的模型，以捕捉用户会话中的双向序列依赖关系。

提出的方法

• 提出一种掩码填充机制：编码器处理包含被掩码项目的会话，解码器基于编码的上下文预测缺失项目。
• 采用编码器-解码器架构，通过在序列中掩码项目，联合训练过去与未来上下文。
• 使用带有稀疏卷积核的卷积神经网络，以确保在建模会话序列时具备高效性与可扩展性。
• 采用掩码序列重建目标进行端到端训练，确保未来上下文被使用的同时避免数据泄露。
• 通过在会话中随机掩码项目构建输入序列，模拟训练期间的预测任务。
• 在训练过程中利用完整的会话序列（包括未来项目）以丰富表征学习。

实验结果

研究问题

• RQ1 建模未来用户交互是否能提升基于会话的推荐性能？
• RQ2 是否可能在不造成数据泄露或违反机器学习原则的前提下，将未来上下文整合到训练中？
• RQ3 与自回归或从左到右的建模方式相比，掩码填充机制在捕捉序列依赖关系方面表现如何？
• RQ4 建模双向上下文对短、中、长会话用户的影响是什么？
• RQ5 GRec 相较于最先进序列推荐模型的表现如何？

主要发现

• GRec 在两个真实世界数据集上显著优于最先进序列推荐方法。
• 该模型在短、中、长会话用户中均实现性能提升，表现出对会话长度的鲁棒性。
• 实证研究证实，当正确整合时，建模未来上下文能显著提升推荐质量。
• 使用稀疏卷积核可实现高效率，且不损失准确性。
• 掩码填充训练机制能有效利用未来交互而无数据泄露。
• 结果表明，未来上下文包含有价值的偏好信号，而现有方法尚未充分挖掘。