[论文解读] Contextual Sequence Modeling for Recommendation with Recurrent Neural Networks

Elena Smirnova, Flavian Vasile|arXiv (Cornell University)|Jun 23, 2017

Recommender Systems and Techniques参考文献 8被引用 4

一句话总结

本文提出上下文感知循环神经网络（CRNNs），通过在输入/输出层和隐藏状态动态中整合交互类型、时间间隔和一天中的时间等上下文特征，提升会话级推荐效果。CRNNs 显著优于非上下文 RNN 和基线模型，在稀有促销活动上的 Recall@10 最高提升 12.5%，在非历史物品上的提升达 10.2%。

ABSTRACT

Recommendations can greatly benefit from good representations of the user state at recommendation time. Recent approaches that leverage Recurrent Neural Networks (RNNs) for session-based recommendations have shown that Deep Learning models can provide useful user representations for recommendation. However, current RNN modeling approaches summarize the user state by only taking into account the sequence of items that the user has interacted with in the past, without taking into account other essential types of context information such as the associated types of user-item interactions, the time gaps between events and the time of day for each interaction. To address this, we propose a new class of Contextual Recurrent Neural Networks for Recommendation (CRNNs) that can take into account the contextual information both in the input and output layers and modifying the behavior of the RNN by combining the context embedding with the item embedding and more explicitly, in the model dynamics, by parametrizing the hidden unit transitions as a function of context information. We compare our CRNNs approach with RNNs and non-sequential baselines and show good improvements on the next event prediction task.

研究动机与目标

• 解决现有基于 RNN 的推荐模型忽略交互类型、时间间隔和一天中时间等上下文特征的局限性。
• 通过在输入/输出层和隐藏状态转移中均建模上下文信息，提升下一物品预测的准确性。
• 证明上下文建模在稀有事件（如促销）和未见过的物品等困难场景下可带来显著性能提升。
• 在真实世界电商数据集上，将 CRNN 与非序列及序列基线模型进行对比，验证其有效性。

提出的方法

• 提出一类上下文 RNN（CRNN）家族，通过非线性变换在输入/输出层将物品嵌入与上下文嵌入相结合。
• 将隐藏状态转移参数化为上下文的函数，实现在 RNN 单元中引入上下文感知动态。
• 探索两种架构变体：基于上下文的输入/输出建模与基于上下文的动态建模。
• 采用基于 GRU 的 RNN，通过拼接和乘法交互方式融合物品嵌入与上下文嵌入。
• 使用多层 CRNN 并引入残差连接与批量归一化，以稳定训练过程。
• 采用端到端训练方式，使用交叉熵损失函数在会话级序列上进行下一物品预测。

实验结果

研究问题

• RQ1 在基于 RNN 的推荐模型中引入上下文特征（如交互类型、时间间隔、一天中时间）是否能提升下一物品预测的准确性？
• RQ2 不同架构设计（上下文在输入/输出层 vs. 上下文在动态中）对模型性能有何影响？
• RQ3 引入上下文是否能在稀有事件（如促销）和非历史物品等困难预测场景中带来可测量的性能提升？
• RQ4 模型性能如何随序列长度和上次事件以来的时间而变化？
• RQ5 CRNN 在真实世界电商数据上是否能比非上下文 RNN 和传统基线模型展现出更好的泛化能力？

主要发现

• Concat-Mult-Context-RNN 模型表现最佳，在 YooChoose 数据集上，相较于最佳基线，稀有促销事件的 Recall@10 提升 12.5%。
• 在非历史物品上，最佳 CRNN 模型相较基线将 Recall@10 提升 10.2%，表明其对未见物品具有更强的泛化能力。
• 性能提升在稀有事件（如促销，占总事件少于 5%）和较长序列中最为显著，且随着序列长度增加，提升幅度持续扩大。
• 模型在极近期事件（时间间隔 < 2 秒）上表现出最大改进，表明对时间上下文具有高度敏感性。
• 所有 CRNN 变体均显著优于非上下文 RNN 和基线模型，且通过 30 次自助抽样获得的 95% 置信区间验证了统计显著性。
• 将上下文同时应用于输入/输出层和隐藏状态动态（Concat-Mult-Context-RNN）带来了最强的整体性能增益。