[论文解读] HAM: Hybrid Associations Models for Sequential Recommendation

Bo Peng, Zhiyun Ren+2 more|arXiv (Cornell University)|Feb 27, 2020

Recommender Systems and Techniques参考文献 27被引用 11

一句话总结

HAM 提出了一种新颖且高效的序列推荐模型，通过池化操作结合用户的长期偏好、低阶与高阶物品关联模式，并利用哈达玛积显式建模物品间的协同效应。该模型在六个基准数据集上实现了最先进性能，相较于最先进方法，NDCG@10 提升高达 46.6%，推理速度提升达 139.7 倍。

ABSTRACT

Sequential recommendation aims to identify and recommend the next few items for a user that the user is most likely to purchase/review, given the user's purchase/rating trajectories. It becomes an effective tool to help users select favorite items from a variety of options. In this manuscript, we developed hybrid associations models (HAM) to generate sequential recommendations using three factors: 1) users' long-term preferences, 2) sequential, high-order and low-order association patterns in the users' most recent purchases/ratings, and 3) synergies among those items. HAM uses simplistic pooling to represent a set of items in the associations, and element-wise product to represent item synergies of arbitrary orders. We compared HAM models with the most recent, state-of-the-art methods on six public benchmark datasets in three different experimental settings. Our experimental results demonstrate that HAM models significantly outperform the state of the art in all the experimental settings, with an improvement as much as 46.6%. In addition, our run-time performance comparison in testing demonstrates that HAM models are much more efficient than the state-of-the-art methods, and are able to achieve significant speedup as much as 139.7 folds.

研究动机与目标

• 解决深度学习模型在稀疏序列推荐数据上可能过拟合或学习到无意义注意力权重的挑战。
• 探究更简单、更具可解释性的模型是否能在序列推荐任务中超越复杂的深度学习方法。
• 开发一种能显式捕捉用户长期偏好、序列物品关联（低阶与高阶）以及物品协同效应的模型。
• 相比最先进方法，同时提升推荐准确率与推理效率。
• 通过分析 80-20-CUT 和 3-LOS 等常见设置的局限性，标准化实验评估，并倡导采用 80-3-CUT 作为更可靠的基准。

提出的方法

• 通过所有历史购买/评分行为提取的用户嵌入来建模用户的长期偏好。
• 通过近期物品序列的均值池化与最大池化操作来表示低阶与高阶物品关联。
• 通过在物品嵌入上递归执行哈达玛积操作，显式建模任意阶次的物品协同效应。
• 将用户偏好、物品关联与协同效应三个组件整合到线性打分函数中，用于推荐排序。
• 利用潜在交叉技术有效建模更高阶的物品交互，同时避免模型复杂度不成比例地增加。
• 采用标准推荐损失端到端训练模型，由于不包含注意力机制或循环结构，因此具备高效的推理能力。

实验结果

研究问题

• RQ1 在稀疏数据集上，更简单、非注意力机制的模型是否能超越复杂的深度学习模型？
• RQ2 低阶与高阶物品关联模式对推荐性能的贡献程度如何？
• RQ3 显式建模物品协同效应与用户长期偏好对推荐准确率的影响如何？
• RQ4 不同的评估设置（80-20-CUT、80-3-CUT、3-LOS）如何影响性能估计与模型比较？
• RQ5 在稀疏推荐数据上，深度序列模型中的注意力权重是否具有实际意义？

主要发现

• 在 80-3-CUT 设置下，HAM 模型在 NDCG@10 上相较最先进方法 Caser 最高提升 46.6%。
• 模型在推理阶段相较 Caser 实现平均 139.7 倍的加速，相较 SASRec 实现 28.0 倍加速，凸显其卓越效率。
• 消融实验表明，在 Comics 数据集上建模低阶关联可使性能提升 14.9%，证实其重要性。
• 在稀疏数据集上，最先进方法 SASRec 的注意力权重被发现基本无意义，表明其在该场景下实用性有限。
• 由于验证集与测试集规模更均衡，80-3-CUT 设置相比 80-20-CUT 和 3-LOS 更适合用于评估序列推荐模型。
• HAM 中对学习到的物品表示采用等权重分配优于自适应加权，表明模型对表示质量具有更强鲁棒性。