[论文解读] Future Data Helps Training: Modeling Future Contexts for Session-based Recommendation

Fajie Yuan, Xiangnan He+5 more|arXiv (Cornell University)|Jun 11, 2019

Recommender Systems and Techniques参考文献 47被引用 6

一句话总结

本文提出 GRec，一种新颖的编码器-解码器框架，用于会话推荐，通过在掩码项目上进行训练，利用未来上下文，避免数据泄露。GRec 在多个数据集上显著优于最先进的模型（如 NextItNet 和 BERT 风格编码器），证明建模未来交互可提升推荐准确度，且不违反机器学习原则。

ABSTRACT

Session-based recommender systems have attracted much attention recently. To capture the sequential dependencies, existing methods resort either to data augmentation techniques or left-to-right style autoregressive training.Since these methods are aimed to model the sequential nature of user behaviors, they ignore the future data of a target interaction when constructing the prediction model for it. However, we argue that the future interactions after a target interaction, which are also available during training, provide valuable signal on user preference and can be used to enhance the recommendation quality. Properly integrating future data into model training, however, is non-trivial to achieve, since it disobeys machine learning principles and can easily cause data leakage. To this end, we propose a new encoder-decoder framework named Gap-filling based Recommender (GRec), which trains the encoder and decoder by a gap-filling mechanism. Specifically, the encoder takes a partially-complete session sequence (where some items are masked by purpose) as input, and the decoder predicts these masked items conditioned on the encoded representation. We instantiate the general GRec framework using convolutional neural network with sparse kernels, giving consideration to both accuracy and efficiency. We conduct experiments on two real-world datasets covering short-, medium-, and long-range user sessions, showing that GRec significantly outperforms the state-of-the-art sequential recommendation methods. More empirical studies verify the high utility of modeling future contexts under our GRec framework.

研究动机与目标

• 解决单向模型在会话推荐中忽略未来用户交互的局限性。
• 探究尽管存在数据泄露风险，未来上下文是否能提升推荐质量。
• 设计一种训练框架，利用过去和未来上下文，同时不违反机器学习原则。
• 开发一种通用、灵活且高效的编码器-解码器架构，用于序列推荐，整合双向上下文。

提出的方法

• 提出一种掩码填空机制，其中编码器处理部分被掩码的会话序列，解码器预测被掩码的项目。
• 采用序列到序列（seq2seq）编码器-解码器框架，使用独特的训练目标，在编码阶段掩码未来项目，从而避免数据泄露。
• 采用空洞卷积神经网络结合稀疏核，高效且准确地建模用户会话中的长距离依赖关系。
• 引入投影模块以增强表征学习，提升基线模型的性能。
• 通过在相同序列上对不同掩码位置进行训练，实现双向上下文建模，使模型能够从过去和未来的交互中学习。
• 通过允许将卷积组件替换为 RNN，支持架构灵活性，证明了在不同神经架构上的泛化能力。

实验结果

研究问题

• RQ1 建模未来用户交互是否能提升会话推荐模型的性能？
• RQ2 如何在不造成数据泄露的情况下有效整合未来上下文？
• RQ3 在 seq2seq 框架中使用掩码填空目标，是否能比单向自回归模型更好地建模双向用户行为模式？
• RQ4 与 NextItNet 和 BERT 风格编码器等强基线相比，所提出的 GRec 框架在准确度和鲁棒性方面表现如何？
• RQ5 投影模块和双向上下文建模对整体性能的贡献是什么？

主要发现

• GRec 在三个真实世界数据集（TW10、ML30、ML100）上达到最先进性能，MRR@5 分数分别为 0.117、0.114 和 0.103，优于 NextItNet。
• 消融实验表明，投影模块有助于性能提升，但即使不使用该模块，GRec 仍优于 NextItNet。
• GRec 显著优于其仅使用编码器的变体（即类似 BERT 的模型），在 TW10 上 MRR@5 分别为 0.0901 和 0.0808，证明了结合双向上下文与自回归解码的价值。
• 采用循环网络的 GRec 变体（如 Bi-GRU 编码器或 GRU 解码器）仍优于各自基线，证实了该框架的灵活性与泛化能力。
• 模型在短、中、长会话中均表现出一致的性能提升，表明其在不同会话长度下具有鲁棒性。
• 通过受控实验和架构设计验证，该框架能有效利用未来上下文且无数据泄露。