[论文解读] Hierarchical Gating Networks for Sequential Recommendation

Chen Ma, Peng Kang+1 more|arXiv (Cornell University)|Jun 21, 2019

Recommender Systems and Techniques参考文献 39被引用 4

一句话总结

本文提出层级门控网络（HGN），一种序列推荐模型，通过特征门控和实例门控机制联合捕捉用户的长期与短期兴趣，同时通过产品模块显式建模物品之间的关系。在五个真实世界数据集上评估，HGN在Top-N推荐准确率上优于最先进方法，并因参数高效的设计实现了更快的训练速度。

ABSTRACT

The chronological order of user-item interactions is a key feature in many recommender systems, where the items that users will interact may largely depend on those items that users just accessed recently. However, with the tremendous increase of users and items, sequential recommender systems still face several challenging problems: (1) the hardness of modeling the long-term user interests from sparse implicit feedback; (2) the difficulty of capturing the short-term user interests given several items the user just accessed. To cope with these challenges, we propose a hierarchical gating network (HGN), integrated with the Bayesian Personalized Ranking (BPR) to capture both the long-term and short-term user interests. Our HGN consists of a feature gating module, an instance gating module, and an item-item product module. In particular, our feature gating and instance gating modules select what item features can be passed to the downstream layers from the feature and instance levels, respectively. Our item-item product module explicitly captures the item relations between the items that users accessed in the past and those items users will access in the future. We extensively evaluate our model with several state-of-the-art methods and different validation metrics on five real-world datasets. The experimental results demonstrate the effectiveness of our model on Top-N sequential recommendation.

研究动机与目标

• 为解决从稀疏隐式反馈中建模用户长期与短期兴趣的挑战，提出序列推荐方法。
• 克服现有模型在短序列中无法选择性关注关键物品特征和重要物品的局限。
• 显式捕捉物品之间的关系，因为用户通常会连续与相关物品互动。
• 设计一种参数高效的架构，在保持高性能的同时，相比RNN和CNN降低模型复杂度。
• 在大规模场景下提升训练效率，同时不牺牲推荐准确率。

提出的方法

• 模型采用特征门控模块，根据用户偏好自适应选择物品的相关潜在特征，实现用户特定的特征路由。
• 实例门控模块识别并优先处理用户近期交互历史中的关键物品，以反映其短期兴趣。
• 分层门控机制形成两级路由系统：先选择特征，再将关键实例传递至下游层。
• 物品-物品产品模块显式建模过去物品与未来候选物品之间的关系，增强序列模式学习。
• 模型与贝叶斯个性化排序（BPR）集成，使用成对排序损失进行端到端优化。
• 架构避免使用复杂的RNN或CNN，转而依赖参数高效的矩阵运算，时间复杂度为O(N²d + Nd²)，其中N为物品数量，d为嵌入维度。

实验结果

研究问题

• RQ1 参数高效的架构能否有效建模序列推荐中的长期与短期用户兴趣？
• RQ2 与标准RNN或CNN模型相比，特征级和实例级门控在用户偏好表征方面有何提升？
• RQ3 显式建模物品间关系在多大程度上能提升序列推荐性能？
• RQ4 与SASRec和Caser等基于深度学习的序列模型相比，所提模型在训练效率上表现如何？
• RQ5 为最大化推荐准确率，嵌入维度和序列长度等超参数的最优配置是什么？

主要发现

• HGN在五个真实世界数据集（Books、Comics、CDs、Children、ML20M）上多个评估指标（包括R@5和R@10）上达到最先进性能。
• 模型可学习参数数量减少至5,350（当d=50时），显著低于GRU（15,300）和CNN（26,154）基线，表明具有高参数效率。
• HGN在所有对比模型中训练速度最快，CDs数据集上每轮训练耗时0.957秒，其余数据集普遍低于3秒。
• 引入物品-物品产品模块带来持续的性能提升，证实建模物品关系可改善序列预测。
• 随着嵌入维度d增加，性能持续提升至某一临界点后趋于平稳，表明在d=50左右已达到足够容量。
• 当|L|=3且|T|=3时性能最优，表明三步历史和三步未来预测在相关性与噪声抑制之间达到最佳平衡。