[论文解读] Recurrent Neural Networks for Long and Short-Term Sequential Recommendation

Kiewan Villatel, Elena Smirnova+2 more|arXiv (Cornell University)|Jul 23, 2018

Recommender Systems and Techniques参考文献 19被引用 14

一句话总结

该论文评估了循环神经网络（RNNs）在短期和长期序列推荐中的表现，表明采用层归一化和共享项目嵌入的堆叠GRU模型在电商数据集上优于基线模型。最佳配置在长序列上取得了显著提升，证实了RNN在建模用户即时与远距离交互方面的能力。

ABSTRACT

Recommender systems objectives can be broadly characterized as modeling user preferences over short-or long-term time horizon. A large body of previous research studied long-term recommendation through dimensionality reduction techniques applied to the historical user-item interactions. A recently introduced session-based recommendation setting highlighted the importance of modeling short-term user preferences. In this task, Recurrent Neural Networks (RNN) have shown to be successful at capturing the nuances of user's interactions within a short time window. In this paper, we evaluate RNN-based models on both short-term and long-term recommendation tasks. Our experimental results suggest that RNNs are capable of predicting immediate as well as distant user interactions. We also find the best performing configuration to be a stacked RNN with layer normalization and tied item embeddings.

研究动机与目标

• 评估基于RNN的模型在短期和长期序列推荐任务中的表现。
• 探究最先进的RNN改进方法——层归一化和共享嵌入——是否能在不同时间范围内提升性能。
• 将堆叠RNN与分层架构同简单模型及基线模型在真实世界电商数据上进行比较。
• 评估序列长度对模型性能的影响，特别是对长期预测的影响。
• 确定矩阵分解基线模型是否依然具有竞争力，尤其是在短序列上的表现。

提出的方法

• 采用门控循环单元（GRUs）作为核心RNN架构，用于建模用户行为序列。
• 应用层归一化以稳定训练过程并改善梯度流动，尤其在深层或长序列中效果显著。
• 在输入层和输出层使用共享的嵌入矩阵，以减少参数量并提升泛化能力。
• 采用堆叠的两层GRU架构，以捕捉用户行为中的分层模式。
• 通过在不同时间步（如Recall@20,1和Recall@20,20）评估Recall@K指标，评估短期和长期预测性能。
• 使用会话并行的小批量训练方式，结合输出采样排序损失，以提升训练效率。

实验结果

研究问题

• RQ1 基于RNN的模型能否有效预测序列推荐中用户未来的即时与远距离交互？
• RQ2 使用层归一化和共享嵌入是否能提升RNN在短期和长期推荐任务中的性能？
• RQ3 与单层或分层RNN架构相比，堆叠的两层GRU在预测性能上表现如何？
• RQ4 强非RNN基线模型（如共现矩阵分解）在短序列上是否仍具有竞争力，尤其是与RNN模型相比？
• RQ5 序列长度在多大程度上影响不同RNN配置在长期推荐中的性能表现？

主要发现

• 表现最佳的模型是采用层归一化和共享项目嵌入的堆叠两层GRU，其在两个数据集和所有指标上均持续优于所有基线模型。
• 层归一化在长序列上带来10.6%的性能提升（Yoochoose数据集）和11.5%的提升（内部数据集），表明其在长期建模中具有显著优势。
• 共享嵌入显著减少了模型参数量并提升了性能，尤其在与层归一化结合时效果更明显。
• 分层多层RNN（HM-LSTM）的表现不如单层GRU，可能由于离散变量下训练不稳定及模型复杂度较高。
• 在短序列（长度≤5）上，共现矩阵分解基线模型与普通GRU模型表现相当，Yoochoose数据集上仅提升0.3%，内部数据集上仅提升1%。
• GRU模型在长期预测中表现出显著的性能差距：虽然对下一跳预测的性能提升仅为2.4%，但对20步后预测的提升最高可达6.8%。