[论文解读] Augmenting Recurrent Neural Networks with High-Order User-Contextual Preference for Session-Based Recommendation

Younghun Song, Jae-Gil Lee|arXiv (Cornell University)|May 8, 2018

Recommender Systems and Techniques参考文献 14被引用 5

一句话总结

本文提出增强循环神经网络（ARNN），通过使用基于乘积的神经网络（PNN）显式建模高阶用户上下文偏好，增强现有的基于RNN的会话模型。通过整合年龄、性别和位置等静态用户上下文信息，ARNN在拥有丰富用户上下文时，相较于XING数据集上的GRU4REC，将MRR@20的性能提升了19.5%。

ABSTRACT

The recent adoption of recurrent neural networks (RNNs) for session modeling has yielded substantial performance gains compared to previous approaches. In terms of context-aware session modeling, however, the existing RNN-based models are limited in that they are not designed to explicitly model rich static user-side contexts (e.g., age, gender, location). Therefore, in this paper, we explore the utility of explicit user-side context modeling for RNN session models. Specifically, we propose an augmented RNN (ARNN) model that extracts high-order user-contextual preference using the product-based neural network (PNN) in order to augment any existing RNN session model. Evaluation results show that our proposed model outperforms the baseline RNN session model by a large margin when rich user-side contexts are available.

研究动机与目标

• 为解决现有基于RNN的会话模型在显式建模静态用户侧上下文（如年龄、性别、位置）方面的局限性。
• 通过捕捉用户上下文与序列物品行为之间的高阶交互，提升会话推荐中的个性化程度。
• 开发一种即插即用的框架，可在不从头训练的前提下，为任意现有RNN会话模型添加上下文偏好建模能力。
• 评估在拥有丰富用户上下文数据时，高阶用户上下文偏好建模是否能带来可测量的推荐质量提升。

提出的方法

• 提出ARNN，一种增强型RNN，将标准RNN会话模型与基于PNN的上下文编码器结合，以建模静态用户上下文与先前物品之间的高阶交互。
• 使用PNN计算嵌入后的用户上下文特征与RNN隐藏状态之间的成对乘积操作，捕捉非线性、高阶交互。
• 通过全连接层将PNN输出与RNN隐藏状态融合，生成上下文感知的会话表征。
• 采用TOP1损失函数，通过将负样本得分推向零并防止得分爆炸，优化排序性能。
• 使用Adagrad优化器，并设置与数据集相关的学习率和权重衰减，强调超参数对模型性能的敏感性。
• 端到端训练模型，其中RNN捕捉序列模式，PNN编码用户上下文偏好。

实验结果

研究问题

• RQ1 显式建模静态用户侧上下文（如年龄、性别、位置）是否能提升基于RNN的会话模型性能？
• RQ2 用户上下文与序列物品行为之间的高阶交互建模是否比低阶或无上下文建模带来更高的推荐准确率？
• RQ3 在拥有丰富用户上下文时，ARNN与GRU4REC和Item-KNN等强基线模型相比表现如何？
• RQ4 在用户上下文特征稀疏时，ARNN在何种情况下无法提升性能？
• RQ5 基于PNN的上下文编码器能否在不重新训练整个架构的前提下，有效集成到现有RNN会话模型中？

主要发现

• 在XING数据集上，ARNN显著优于GRU4REC基线，MRR@20相对提升19.5%（0.1252 vs. 0.1169）。
• 在XING数据集上，ARNN的Recall@20达到0.3106，相较GRU4REC的0.2597，相对提升17.8%。
• XING数据集上的性能提升归因于丰富用户上下文特征（如职位、位置、登录平台）的可用性，使得高阶偏好建模得以有效实现。
• 在TMALL数据集上，仅提供三个用户上下文字段（用户ID、年龄、性别），ARNN相较于GRU4REC仅表现出微小改进，表明在用户上下文稀疏时收益有限。
• 独立的PNN模型表现较差（在XING上Recall@20为0.1439），证实仅靠上下文建模不足以实现良好性能，但ARNN与RNN的结合带来了显著增益。
• 超参数调优，尤其是学习率和权重衰减，对模型收敛和性能至关重要，表明对优化设置高度敏感。