[论文解读] Dynamic Memory based Attention Network for Sequential Recommendation

Qiaoyu Tan, Jianwei Zhang+5 more|arXiv (Cornell University)|Feb 18, 2021

Recommender Systems and Techniques参考文献 54被引用 7

一句话总结

本文提出动态记忆注意力网络（DMAN），一种序列推荐模型，通过将长用户行为序列分割为子序列，并利用动态记忆模块显式捕捉和保留长期用户兴趣。通过结合循环注意力机制以建模短期动态，以及通过重建损失优化的记忆机制以保证长期记忆的保真度，DMAN在四个基准数据集上实现了最先进的性能，且在长序列上的推理效率极高。

ABSTRACT

Sequential recommendation has become increasingly essential in various online services. It aims to model the dynamic preferences of users from their historical interactions and predict their next items. The accumulated user behavior records on real systems could be very long. This rich data brings opportunities to track actual interests of users. Prior efforts mainly focus on making recommendations based on relatively recent behaviors. However, the overall sequential data may not be effectively utilized, as early interactions might affect users' current choices. Also, it has become intolerable to scan the entire behavior sequence when performing inference for each user, since real-world system requires short response time. To bridge the gap, we propose a novel long sequential recommendation model, called Dynamic Memory-based Attention Network (DMAN). It segments the overall long behavior sequence into a series of sub-sequences, then trains the model and maintains a set of memory blocks to preserve long-term interests of users. To improve memory fidelity, DMAN dynamically abstracts each user's long-term interest into its own memory blocks by minimizing an auxiliary reconstruction loss. Based on the dynamic memory, the user's short-term and long-term interests can be explicitly extracted and combined for efficient joint recommendation. Empirical results over four benchmark datasets demonstrate the superiority of our model in capturing long-term dependency over various state-of-the-art sequential models.

研究动机与目标

• 解决在真实推荐系统中建模极长用户行为序列的挑战，因为标准序列模型难以捕捉长期依赖关系。
• 克服在推理过程中扫描整个长序列所带来的计算低效问题，该问题在低延迟工业应用中不可行。
• 显式建模短期与长期用户偏好，以提升推荐准确性，尤其是在早期交互影响后续选择的情况下。
• 通过引入重建损失，减轻记忆增强网络中的长期记忆遗忘问题，从而在训练过程中提升记忆保真度。
• 设计一种可扩展且高效的架构，在减少推理时间的同时保持高性能，通过子序列处理与动态记忆抽象实现。

提出的方法

• 将完整用户行为序列分割为连续的子序列，以降低推理过程中的计算负载。
• 使用循环注意力网络，通过捕捉相邻子序列之间的依赖关系，建模用户的短期兴趣。
• 引入动态记忆网络，利用局部重建损失，将长期用户兴趣抽象为外部记忆块。
• 通过训练记忆块以重建输入子序列，确保长期偏好得到高保真度的保留。
• 通过注意力机制融合短期与长期表征，生成最终的用户嵌入以用于下一步项目预测。
• 采用多任务学习目标端到端优化整个模型，包括下一步项目预测与记忆重建。

实验结果

研究问题

• RQ1 在不扫描整个序列的情况下，记忆增强注意力网络能否有效建模极长行为序列中的长期用户偏好？
• RQ2 与标准记忆网络相比，采用重建损失的动态记忆抽象在提升记忆保真度与减少遗忘方面有何改进？
• RQ3 联合建模短期与长期兴趣在长序列数据上的推荐性能提升程度如何？
• RQ4 所提出的子序列处理策略与全序列模型相比，在模型效率与性能之间如何实现平衡？
• RQ5 在实现高性能的同时，内存大小与注意力层数量的最优配置是什么，以实现最小计算成本？

主要发现

• DMAN在四个基准数据集（MovieLens、Taobao、JD.com 和 XLong）上均达到最先进性能，优于现有序列推荐模型在长序列设置下的表现。
• 模型收敛迅速，通常在 Taobao、JD.com 和 XLong 上仅需约 2 个周期，在 MovieLens 上约需 50 个周期，表明训练效率高。
• 在 MovieLens 上，将记忆块数量（m）设为 20 时达到最优性能，超过此值后性能提升微乎其微，表明表征能力已趋于饱和。
• 使用两层注意力（L=2）在性能与内存开销之间提供了良好平衡，因为更深网络带来的收益递减。
• 带有重建损失的动态记忆机制显著提升了长期记忆保真度，减少了遗忘，增强了长序列建模能力。
• 实证结果证实，同时建模短期与长期兴趣的推荐效果优于仅关注近期行为或使用静态记忆的方法。